最近大家讨论网站的比较多我有个疑问

站着噜 · 发表于 2012-11-9 10:19:03

怎么屏蔽蜘蛛~nginx 用过map 也判断过头部标识返回444 但是每天还是一堆蜘蛛来爬而且返回的是200....
求破~~~~~~~~~~~~~~别说robots 这东西好像没几个遵守的...

网警 · 发表于 2012-11-9 10:23:19

robots.txt

jjiabinb · 发表于 2012-11-9 10:24:40

DNSPOD,
蜘蛛，单独解析到空ip

topl · 发表于 2012-11-9 12:40:40

爬一下又不会要你的命。

		自动登录	找回密码
密码			立即注册

最近大家讨论网站的比较多 我有个疑问