搞了一个小说小偷站百度蜘蛛貌似很给力啊

metalx · 发表于 2010-11-9 21:23:49

放出来吧

小菜鸟 · 发表于 2010-11-9 22:46:58

原帖由 WAKAKA 于 2010-11-9 17:47 发表

求蜘蛛日志

aru · 发表于 2010-11-9 23:36:47

只是简单查爬虫的次数可以自己搞一下

s1:/var/log/nginx# grep -c "Sogou web spider" xxxx.com.access.log.1
7713
s1:/var/log/nginx# grep -c "Baiduspider+" xxxx.com.access.log.1
18172
s1:/var/log/nginx#
s1:/var/log/nginx# grep -i googlebot -c xxxx.com.access.log.1
1348

我的一个新小说站，爬虫也是很给力的，就是没有人气...

kingnib · 发表于 2010-11-10 08:57:06

求源码啊

foass · 发表于 2010-12-2 13:30:45

求源码

一生拼搏 · 发表于 2010-12-17 14:58:14

支持楼主放源码

yc260982 · 发表于 2010-12-17 15:03:20

铜球

cnshayo我是小白 · 发表于 2010-12-17 17:41:44

同求原帖由 yc260982 于 2010-12-17 17:41 发表

铜球

大飞机 · 发表于 2010-12-17 17:42:30

原帖由 我是小白 于 2010-12-17 18:42 发表

southwind · 发表于 2010-12-17 18:46:26

原帖由 serverpoint 于 2010-11-9 19:26 发表

同求

		自动登录	找回密码
密码			立即注册

搞了一个小说小偷站 百度蜘蛛貌似很给力啊

搞了一个小说小偷站百度蜘蛛貌似很给力啊