流氓蜘蛛怎么干掉

yingaoyun · 发表于 2020-8-14 01:17:30

SemrushBot
MJ12bot
这流氓玩意恨不能每天把服务器都爬挂 robots禁止了也不行

reizhi · 发表于 2020-8-14 01:19:29

在网站放个不可见链接，robots写上禁止访问，后端写个trap收集ip然后一窝端

bax · 发表于 2020-8-14 01:22:16

禁IP

iks · 发表于 2020-8-14 01:23:27

禁 useragent

爱因斯坦 · 发表于 2020-8-14 01:24:44

ip禁掉

我太难了 · 发表于 2020-8-14 01:32:59

直接封IP段,或者干脆接一个谷歌验证码

yxmss · 发表于 2020-8-14 01:36:53

把ua禁掉

citywar · 发表于 2020-8-14 01:42:09

封UA 不过他们还会定期变版本

流氓蜘蛛遵守规则了还叫流氓吗

loukky · 发表于 2020-8-14 01:53:36

IP整段加验证，或者直接返回404。

蝙蝠侠iks · 发表于 2020-8-14 01:57:52

把这些ua都拉到黑名单
citywar 发表于 2020-8-14 01:42

封UA 不过他们还会定期变版本

流氓蜘蛛遵守规则了还叫流氓吗
写一小段有特征的就行了，像前一段时间比较流行的，ban baidu.so 就全部肃清了

		自动登录	找回密码
密码			立即注册