大佬们，怎么禁止谷歌蜘蛛啊？？

9c.cx · 发表于 2019-3-31 02:15:55

头回碰到被蜘蛛爬死的案例

heian9119 · 发表于 2019-3-31 02:57:12

你是不是遇到假的谷歌蜘蛛了啊

ApkB · 发表于 2019-3-31 02:17:33

套个cf，under attcker模式，或者开waf，robots.txt 设置屏蔽谷歌爬虫，参照www.toutiao.com/robots.txt

gmjiaoyi · 发表于 2019-3-31 02:54:49

我日别人采集的真快

jumpsky · 发表于 2019-3-31 03:27:56

1. block google bot
2. google console

Kslr · 发表于 2019-3-31 03:41:31

heian9119 发表于 2019-3-31 02:57

头回碰到被蜘蛛爬死的案例
我被百度爬死过

		自动登录	找回密码
密码			立即注册