【爬虫开源】91+1024+mm131爬虫
006.gif早上差点被吓死。。mjj。。
项目全部整理到了Github：
91视频解析:https://github.com/eqblog/91_**_video_url
91视频爬虫:https://github.com/eqblog/91_**_spider
1024图片爬虫：https://github.com/eqblog/1024_img_spider_threads
mm131图片爬虫：https://github.com/eqblog/mm131_spider_threading
注意：仅支持python3
注意：仅支持python3
注意：仅支持python3
python需要requests库
请使用pip安装
pip3 install requests
修改目录出现的错误，请自行看代码修改。。本人精力有限（没入股营养快线），精力不足啊
至于我是哪学的爬虫吗。。
python3基础是网上随便找的教程看的。
其实不需要基础也可以学爬虫的。。有其它语言入门水平即可
我是从网上下的免费教程
是崔庆才的，他博客有付费教程，当然你也可以像我一样从网上下载免费的
我只学到了正则。。第10课时左右。。
py3 才好，py2还需要自己转编码 91 video spider
lol.gif
91视频的只爬了54G就自己退了难道91只有这么多 ?
不可能吧 退出也没提示
1024爬的吊炸天 2500个目录 本帖最后由 eqblog 于 2018-2-4 14:30 编辑
fl20002 发表于 2018-2-4 14:27
91视频的只爬了54G就自己退了难道91只有这么多 ?
不可能吧 退出也没提示
006.gif
你应该是用windows吧？ 建议你拿cmd用用python命令执行脚本
这样你会看到报什么错
对了。。默认只爬100页哦。。你把flag改下
while flag
ecosway598 发表于 2018-2-4 14:22
大佬python2.7你放弃了么
011.gif
python2太麻烦了。。中文字符还得自己转。。还不如用python3。。方便点
eqblog 发表于 2018-2-4 14:29
你应该是用windows吧？ 建议你拿cmd用用python命令执行脚本
这样你会看到报什么错
用的window用Linux 好多502
100页54G 差不多
大佬还是入股营养快线吧
稳赚不赔 本帖最后由 xinhualu246 于 2018-2-4 14:44 编辑
其实91完全不用伪造随机IP放到X-Forwarded-For
一个IP就能下完所有的
xinhualu246 发表于 2018-2-4 14:42
其实完全不用随机IP放到X-Forwarded-For
一个IP就能下完所有的
007.gif
随机IP是为了破那个10视频限制 然后找出mp4地址的。。 虽然我也不知道有没有用。。 老哥 我又来了，脚本修改成只下载原标题文件.mp4的视频文件怎么弄啊？修改成“视频”就出现错误本页已下载完，下一页了，怎么解决啊
lol.gif
lol.gif
lol.gif
脚本一大推，啥类型的都有 强帖刘明！！！！！！