写了个漫画下载的脚本

oldj

本帖最后由 oldj 于 2020-4-16 12:52 编辑

接https://www.52.ht/thread-674260-1-1.html
因为看老哥一直没发出来，所以就写了一个脚本下载
支持多线程下载
注意使用前修改json_url为json地址
脚本下载地址
https://github.com/tusik/json-parser-downloader/blob/master/process.py
https://raw.githubusercontent.com/tusik/json-parser-downloader/master/process.py
如果出现创建目录的编码报错，请注意设置环境编码为utf8





已修复目录错误，现在的话可能部分内容会重新下载而且目录结构有点不一样


[ol]

# -*- coding: UTF-8 -*-

import psycopg2

import requests

import sys,json,os,re

from threading import Thread

def download_img(path,url):

    r = requests.get(url, headers=headers)

    filename_t = str(url).split('/')

    filename = filename_t[len(filename_t)-1]

    filename = re.sub('[\/:*?"|]','_',filename)

    with open(path+'/'+filename, 'wb') as f:

        f.write(r.content)

headers = {

    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) '

                  'Chrome/80.0.3987.149 Safari/537.36 '

}

title = ''

json_url = ''

if not os.path.exists("export.json"):

    r = requests.get(json_url, stream=True)

    f = open("export.json", "wb")

    for chunk in r.iter_content(chunk_size=512):

        if chunk:

            f.write(chunk)

with open("export.json","r",encoding='utf-8') as data:

    json_obj = json.load(data)

for i in json_obj:

    title = i['title']

    title = re.sub('[\/:*?"|]','_',title)

    if not os.path.exists(title):

        os.mkdir(title)

    r = requests.get(i['cover'], headers=headers)

    with open(i['title']+"/cover.jpg", 'wb') as f:

        f.write(r.content)

    chaper = ''

    for k in i['chapters']:

        threads = []

        cp_title = k['title']

        cp_title = re.sub('[\/:*?"|]','_',cp_title)

        if os.path.exists(title+'/'+k['title']):

            cp_title = k['title']

        if not os.path.exists(title+'/'+cp_title):

            os.mkdir(title+'/'+cp_title)

        print('Downloading ' + cp_title)

        for j in k['images']:

            filename_t = str(j).split('/')

            filename = filename_t[len(filename_t)-1]

            if os.path.exists(title+'/'+cp_title+'/'+filename):

                continue

            t = Thread(target=download_img,args=[title+'/'+cp_title,j])

            t.start()

            threads.append(t)

        for t in threads:

            t.join()

[/ol]复制代码

b66667777

感谢分享   

C大

谢谢！

夏渔

感谢分享

鼎剑阁

爬到哪吒传出错了QQ
Downloading 哪吒传 公告
Downloading 哪吒传 第33话（1）
Downloading 哪吒传 第32话（4）
Downloading 哪吒传 第32话（3）
Downloading 哪吒传 第32话（2）
Downloading 哪吒传 双12活动专题宣传~
Downloading 哪吒传 第32话（1）
Traceback (most recent call last):
  File "process.py", line 44, in
    os.mkdir(title+'/'+cp_title)
FileNotFoundError: [Errno 2] No such file or directory: '哪吒传/哪吒传 单行本3-4册上市啦~(≧▽≦)/~'

oldj

鼎剑阁 发表于 2020-4-15 21:00

爬到哪吒传出错了QQ
Downloading 哪吒传 公告
Downloading 哪吒传 第33话（1）


emm没想到还有这种标题，等我处理一下

鼎剑阁

打包那个不是这个呀，那个是叮咚的，这个是节操的