lovesan 发表于 2012-3-27 19:30:28

经常被百度蜘蛛爬死怎么办?

我的linode VPS 768那款 从上个月开始就莫名的死机 几乎是一个星期死3次以上
试过把nginx的连接数设置小点 但跟死机没什么区别 不一定什么时候就抽疯 谁也上不去
后来在网上弄了个脚本 监视请求连接数 每20秒写一次记录 只留100条 这几天发现每次死机后最后一条记录的连接数都非常大 今天重启后的记录有700多并发连接数 开始以为是被攻击了 看了一天的日志让我震惊了...满屏的baidu spider 220.181.108.X那段IP 几乎都是同一时间来的 尼玛百度太坑爹了吧 一次抓那tc 他来就来了 几乎每天都来 来了还不收录 太让人郁闷了 又不敢禁止IP问过几个站长 他们都没有这种情况 顶多就100左右并发 服务器不会宕掉
我该咋办啊 我现在已经哭不出来了 同志们帮帮我吧...

失足大叔 发表于 2012-3-27 19:52:31

这个真不清楚

baljeans 发表于 2012-3-29 00:59:33

robot改下，让他禁止采集某个文件夹或者网址

Captain 发表于 2012-3-29 01:55:43

不收录的话直接禁掉好了

johnnyfu829 发表于 2012-3-29 02:58:10

什么监控脚本，比较感兴趣～～

xiusha 发表于 2012-3-29 04:37:31

缓存一下减压。

东广梅 发表于 2012-4-1 20:12:03

前阵子碰到同样的问题，不过我是IIS，于时看了下系统日志，发现是百毒虫子疯狂的在访问一个站的N多乱七 八糟的不存的URL，于是修改程序，接管所有错误页，反回404，，百毒虫子马上就退去了。。

g600 发表于 2012-4-2 14:36:48

花钱叫大便D死它
lol.gif

G奶 发表于 2012-4-26 23:30:11

花钱叫大便D死它这个真不清楚

Ruclinuxvpswz 发表于 2012-4-26 23:30:49

换机器
页: [1] 2
查看完整版本: 经常被百度蜘蛛爬死怎么办?