大佬们来看看，这IP 是谁的爬虫？

shvod

117.136.103.188 "GET / HTTP/1.1" 200 14624 "-" "Mozilla/5.0 (Linux; U; Android 10; zh-cn; V1938CT Build/QP1A.190711.020) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/66.0.3359.126 MQQBrowser/10.8 Mobile Safari/537.36"

llmwxt

二楼无所不在，1万贴的水王

shvod

微步IP分析https://x.threatbook.cn/nodev4/ip/117.136.103.188

UA看起来是一部vivo X30手机的UA，当然可能是伪造的
个人观察像是正常的访问

CnpPt

CnpPt 发表于 2020-10-13 21:45

微步IP分析https://x.threatbook.cn/nodev4/ip/117.136.103.188

UA看起来是一部vivo X30手机的UA，当然可 ...
肯定是伪造的，今天一天就爬了上千条记录

shvod

这2天同样遭遇 类似的爬虫  
超多IP 好像是国内的机房IP
应该是伪造的UA    大量不同的手机UA   WIFI 啥的  
几个小鸡 都满负载了    一直报警    ，一般15分钟左右

gia-e

gia-e 发表于 2020-10-13 21:48

这2天同样遭遇 类似的爬虫  
超多IP 好像是国内的机房IP
应该是伪造的UA    大量不同的手机UA   WIFI 啥 ...
抓几个典型的先封了再说

shvod

shvod 发表于 2020-10-13 21:51

抓几个典型的先封了再说
封不了的  ，   我准备改CMS     文章筛选  去掉几个

gia-e

就一千条吗，爬虫我一天应该给你扒光

xcpan710

xcpan710 发表于 2020-10-13 21:55

就一千条吗，爬虫我一天应该给你扒光
小朋友不知道天高地厚
gia-e 发表于 2020-10-13 21:53

封不了的  ，   我准备改CMS     文章筛选  去掉几个
我套了CF，设置防火墙规则，观察两天再说

shvodshvod

robot.txt