9c.cx 发表于 2019-3-31 02:15:55

大佬们，怎么禁止谷歌蜘蛛啊？？

头回碰到被蜘蛛爬死的案例

heian9119 发表于 2019-3-31 02:57:12

你是不是遇到假的谷歌蜘蛛了啊

ApkB 发表于 2019-3-31 02:17:33

套个cf，under attcker模式，或者开waf，robots.txt 设置屏蔽谷歌爬虫，参照www.toutiao.com/robots.txt

gmjiaoyi 发表于 2019-3-31 02:54:49

我日 别人采集的真快

jumpsky 发表于 2019-3-31 03:27:56

1. block googlebot
2. google console

Kslr 发表于 2019-3-31 03:41:31


heian9119 发表于 2019-3-31 02:57

头回碰到被蜘蛛爬死的案例
我被百度爬死过
页: [1]
查看完整版本: 大佬们，怎么禁止谷歌蜘蛛啊？？