悲剧,加权限的帖子百度还可以收录?难道艳红成精了?
http://www.hostloc.com/thread-11212-1-1.htmlshow域名活动,比比谁的域名最牛
挺久个帖子了,当时发的时候怕搜索引擎把域名收录了,所以就加了权限,可是刚才偶然搜索发现竟然搜索出来了,缓存啥的都有,怎么搞的?难道小李子可以穿越权限之大内容??? 蜘蛛是爬你的服务器,他不是你的会员 不应该呀 也可能 原帖由 Linode 于 2010-8-25 15:04 发表
back.gif
蜘蛛是爬你的服务器,他不是你的会员
难道现在蜘蛛可以自动注册会员后再爬你的网站了? 应该是没加权限时收录的
或者是只是被收录了标题 原帖由 dongzide 于 2010-8-25 15:07 发表
back.gif
难道现在蜘蛛可以自动注册会员后再爬你的网站了?
蜘蛛的权限和你的服务器 管理员权限是一样的 我感觉蜘蛛是个游客权限
百度最多算是个暴力游客而已
不然,百度凭蜘蛛就可以完成成吉思汗都没能统一全球的梦想 原帖由 咯拉无米 于 2010-8-25 15:18 发表
back.gif
我感觉蜘蛛是个游客权限
百度最多算是个暴力游客而已
不然,百度凭蜘蛛就可以完成成吉思汗都没能统一全球的梦想
以前讨论过这个问题。
应该是可以为蜘蛛设置个账号浏览登陆内容的。用robots 当掉 李彦宏在hostloc有ID
003.gif