找到谷歌源头了

cgsyzdd

原帖由 aru 于 2011-5-3 14:03 发表


直接用robots.txt 不就完了么
封IP是下策
如果是用的多镜像呢？ 写到 robots 直接网站也挂了

cgsyzdd

原帖由 yim 于 2011-5-3 14:01 发表


哥被yahoo的蜘蛛爬死了，屏蔽之后，那速度哗啦啦的
yahoo不来我这。。。。

cgsyzdd

原帖由 wdlth 于 2011-5-3 08:28 发表


谷歌IP一堆，会换的。
这是谷歌在加利福尼亚州的全部ipv4地址了。