小盘鸡挂载onedrive爬javhd和91

sm1314

@eqblog大神的脚本大盘鸡用起来美滋滋，但是广大mjj都是几十G的小盘鸡，怎么办呢？简单，使用rcloned挂载5T版的onedrive即可。

挂载之后你会发现在onedrive挂载盘直接运行spider.py是不行滴，会报错，估计创建文件和rcloned的同步线程冲突了。

解决办法是修改带码，使用本地磁盘做缓存。。。缓存之后把文件路径添加到队列里，多线程mv到OneDrive即可，这样做的好处一是可以破OneDrive的限速（10线程200Mbps左右上传），而是不需要大盘鸡，稍好一点的小时计费vps即可。当然同时你还要处理因为centos中出现的mv用多了内存不会回收的问题，py进程cpu/内存占用率过高导致的被系统oom killed问题。。解决之后就可以美滋滋地下载了



又机智地水了一帖

木易酱

你以为你这样说我就会了？哼~凡人

qccj001

说的好 但是并没有5Tod用

左手写爱

干货贴   楼主太低调了

savior

是不是运行spider的人太多了，为什么我的一直报错，大佬账号哪里搞的

sm1314

savior 发表于 2018-3-14 17:55

是不是运行spider的人太多了，为什么我的一直报错，大佬账号哪里搞的
报错是因为你用的账号已经过期了。。。

半潜军长

大佬博客写个图文教程 可以不 我等凡人完全不会啊

ogrish

sm1314 发表于 2018-3-14 18:00

报错是因为你用的账号已经过期了。。。
那大佬能给个试用账号获取的路子吗T_T

savior

savior 发表于 2018-3-14 21:15

那大佬能给个试用账号获取的路子吗T_T
我买的账号，不过不带那个登录字符串，只有用户名密码，eqblob大佬的脚本需要改成post方式登录。。。
sm1314 发表于 2018-3-14 21:16

我买的账号，不过不带那个登录字符串，只有用户名密码，eqblob大佬的脚本需要改成post方式登录。。。 ...
恩？如果去买账号密码是不能获取字符串的吗


还好没买

sm1314savior

savior 发表于 2018-3-14 21:28

恩？如果去买账号密码是不能获取字符串的吗还好没买
对，账号密码需要post提交，不会python改代码的话，买账号没用。。操作错了几次直接封ip