正在大量抓取google 有图比 tumblr 大战300回合

yunran · 发表于 2017-5-18 11:22:44

yc010t水帖之王

zhp521163 · 发表于 2017-5-18 11:29:52

有git吗？代码分享下一起抓

timhbw · 发表于 2017-5-18 11:32:42

美滋滋

老神仙 · 发表于 2017-5-18 11:42:17

不难，一天几百W轻松的

难的是数据清洗，还有数据展示优化

如果这么大数据放一个数据库里，多线程调用，我了个去，那才是难

（爬虫其实一天上千W的数据也是很容易的，多节点，分布式部署SO EASY）

PYTHON GO NODE.JS 都是很简单的

Eric.c · 发表于 2017-5-18 11:55:03

目前只是单机

先采集主要数据后再分布式

cw723 · 发表于 2017-5-18 11:56:08

suzizi 发表于 2017-5-18 11:59

动不动就出验证码了烦躁。

清洗就是伪原创吧我感觉很容易啊，因为本身采集的数据都是按关键词分类 ...
搞IP池吧。

老神仙 · 发表于 2017-5-18 11:59:36

suzizi 发表于 2017-5-18 11:59

动不动就出验证码了烦躁。

清洗就是伪原创吧我感觉很容易啊，因为本身采集的数据都是按关键词分类 ...
找那些有 JSON API这类的，爽一些

要挖掘背后的东西，

验证码是烦，也没办法，

大神一般都是有办法跳过的，或者自动识别，再或者打码

跟着苏紫紫大水逼一起水不久就升仙

341619932 · 发表于 2017-5-18 12:01:01

围观大佬，suzizi应该有很多ip吧，可以分布式采集好多

		自动登录	找回密码
密码			立即注册