小伦 发表于 2011-7-29 13:53:37

万能的hostloc，请赐予我答案吧！！

遇到一个很郁闷的问题，一个网站，GG收录很给力，基本是秒收，但是百度就是不收录，1年了，就收录了一个主页
但是他的爬虫24小时在我的网站上爬，光爬虫都走了1G的流量
是什么问题啊？
万能的hostloc，请给我答案吧！！
下面是爬虫记录
18 个机器人*      文件数      字节      最近参观日期
BaiDuSpider      71786+8         1.01 G字节      2011年 7 月 29日 13:36
Googlebot      10535+15      119.61 M字节      2011年 7 月 29日 13:36

geyunbing 发表于 2011-7-29 13:55:47

小伦老湿，求学生mm

神马皆浮云 发表于 2011-7-29 13:58:35

话说小伦老湿你这个爬虫记录肿么看的？还能看大小？

神马皆浮云 发表于 2011-7-29 14:01:02

这个可以有!

iller_K 发表于 2011-7-29 14:01:13

加上百度连接， 上书“度娘，我会给你高潮”

samuel 发表于 2011-7-29 14:20:29

放网址出来才是啊

金关村村长 发表于 2011-7-29 14:25:40

神啊，就没有人给个答案

小伦 发表于 2011-7-29 20:59:09

去吸引度娘蜘蛛

fhs 发表于 2011-7-29 21:09:39

蜘蛛天天爬啊，一个月爬1G多流量，就是不收录发外链.不然收录难
页: [1]
查看完整版本: 万能的hostloc，请赐予我答案吧！！