ehane
发表于 2018-3-14 21:05:00
openos 发表于 2018-3-16 11:47
怎么样手动设置呢? 因为封了几个ip, 不想重复下载了
flag 就是开始爬的页数。你查一下看你爬到哪个文件,搜一下在第几页,把记得flag设置在下一页,不然肯定ban
zhp521163
发表于 2018-3-14 21:16:49
我在本地爬了1380个视频,不知道全部视频有多少
zhp521163
发表于 2018-3-14 21:19:45
开了一个月会员,可惜这脚本还是有问题,哎
ogrish
发表于 2018-3-14 21:16:00
zhp521163 发表于 2018-3-16 15:17
开了一个月会员,可惜这脚本还是有问题,哎
牛B啊,一个月会员$40?
openos
发表于 2018-3-14 21:25:49
ehane 发表于 2018-3-16 14:37
flag 就是开始爬的页数。你查一下看你爬到哪个文件,搜一下在第几页,把记得flag设置在下一页,不然肯定b ...
如果要从60页开始,是改flag =60吗,改了后脚本一直没输出。改回原来=1,就可以正常输出信息
def run():
s=spider(quality)
reqget=s.req()
flag=60
while True:
time.sleep(5)
page=s.page(flag)
info=s.find_info(page)
for i in info:
mp4_dict=s.find_mp4(i,reqget)
tittle=i.strip()
print(tittle)
if os.path.exists(str(tittle)+'.mp4')==False:
print(s.sources_mp4(mp4_dict,reqget))
download(s.sources_mp4(mp4_dict,reqget),tittle)
else:
#continue
time.sleep(time_sleep)
flag+=1
time.sleep(5)
itsme
发表于 2018-3-14 21:19:00
eqblog 发表于 2018-3-14 22:16
不能 但是可以手动设置页数
如果要从61页开始抓取,只要改下面这个flag的值吗 改了脚本似乎卡住没任何动静了
def run():
s=spider(quality)
reqget=s.req()
flag=61
itsme
发表于 2018-3-14 21:19:51
本帖最后由 itsme 于 2018-3-18 05:26 编辑
本帖没内涵
zhp521163 发表于 2018-3-16 14:45
我在本地爬了1380个视频,不知道全部视频有多少
我是480p的,爬完1380多个视频之后就爬不了了
itsmezhp521163
发表于 2018-3-14 22:03:00
楼主,javhd的脚本我运行完全没问题了。不过有个小问题,就是获得的文件名都不是完全的title标题,Sakura Aida enjoys Asian ... 能否改动什么地方抓取完整title作为文件名?
itsme
发表于 2018-3-16 11:47:19
itsme 发表于 2018-3-18 05:27
楼主,javhd的脚本我运行完全没问题了。不过有个小问题,就是获得的文件名都不是完全的title标题,Sakura A ...
改下正则匹配就好了。。。。
eqblog
发表于 2018-3-14 22:16:00
本帖最后由 itsme 于 2018-3-19 19:46 编辑
------------------------