抓取6000W谷歌的搜索结果，打算做个大点的垃圾站试试

爬虫部落 · 发表于 2017-9-25 21:13:05

RT，
Google的防护做的挺严格的，6000W数据用了近一个月。
下一步开始弄站，一个月后汇报下结果。

william2ct · 发表于 2017-9-25 21:14:55

mark,一个月后来看大佬结果

doing · 发表于 2017-9-25 22:00:48

mark,一个月后来看大佬结果

Polymer_dg · 发表于 2017-9-25 22:01:45

你是怎么抓的 GOOGLE 封IP 啊

zhoutiancai · 发表于 2017-9-25 22:05:05

大佬牛谷歌都爬下来了多大的硬盘数据库搜索会不会直接卡死？

爬虫部落 · 发表于 2017-9-25 22:08:21

zhoutiancai 发表于 2017-9-25 22:05

大佬牛谷歌都爬下来了多大的硬盘数据库搜索会不会直接卡死？
刚抓取完还没入库，数据大概500G左右，只抓取了前20个结果

爬虫部落 · 发表于 2017-9-25 22:05:00

Polymer_dg 发表于 2017-9-25 22:01

你是怎么抓的 GOOGLE 封IP 啊
多IP轮流，要是不封IP也不用这么久了

miven · 发表于 2017-9-25 22:09:29

爬虫部落发表于 2017-9-25 22:09

多IP轮流，要是不封IP也不用这么久了
大概多少个ip？策略方便说一下吗？我准备抓取一点行业相关网站给客服用

爬虫部落 · 发表于 2017-9-25 22:01:00

miven 发表于 2017-9-25 22:29

大概多少个ip？策略方便说一下吗？我准备抓取一点行业相关网站给客服用
500个依次调用，出现异常就sleep，多次异常递增sleep时间（同时减少线程数）

miven拼命二郎 · 发表于 2017-9-25 22:29:11

爬虫部落发表于 2017-9-25 22:32

500个依次调用，出现异常就sleep，多次异常递增sleep时间（同时减少线程数） ...
多谢指教

看ID就知道楼主是个大牛，话不多说，求分享数据

		自动登录	找回密码
密码			立即注册