求个批量下载图片的软件 或者linux的爬虫脚本

FxckEveryBody

本帖最后由 FxckEveryBody 于 2018-11-7 10:32 编辑

有图片的url
求个批量下载图片的软件 或者linux的爬虫脚本

发现这个貌似可以
https://blog.csdn.net/hjwang1/article/details/44408633

ninqq

同求 有没有大佬有这神器啊

幸福的丶开始

同求   最近想做妹子图

lzhd24

lzhd24 发表于 2018-11-7 10:03

`wget -i`
url发出来我给你下载

这个我在用 下载好慢啊 受不了
有没有办法多线程

FxckEveryBody

有url列表的话迅雷应该就可以？批量添加任务。

zqm840527

zqm840527 发表于 2018-11-7 10:19

有url列表的话迅雷应该就可以？批量添加任务。
太多了 添加的时候卡住了

FxckEveryBody

FxckEveryBody 发表于 2018-11-7 10:23

太多了 添加的时候卡住了
火车头免费版估计也可以

zqm840527

idm，有批量下载，增量下载

gr58046576

发现这个貌似可以
https://blog.csdn.net/hjwang1/article/details/44408633
gr58046576 发表于 2018-11-7 10:28

idm，有批量下载，增量下载
也卡死了 尴尬

gougou6423

本帖最后由 gougou6423 于 2018-11-7 14:37 编辑

python3的，需要先 pip install requests
[ol]

THREAD = 10 #线程数

LINK_PATH = 'link.txt' #保存链接的文件

import concurrent.futures

import time

import requests

import os

import imghdr

def download(url):

        url = url.strip()

        r = requests.get(url, stream=True)

        chunk_size=1048576

        filename = url.split('/')[-1]

        with open(filename, "wb") as f:

                for chunk in r.iter_content(chunk_size=chunk_size):

                        if chunk:

                                f.write(chunk)

        print(filename + "下载完成")

        return filename

        

start = time.time()

print("图片下载开始")

f = open(LINK_PATH)

urls = f.readlines()

f.close()

executor = concurrent.futures.ThreadPoolExecutor(max_workers=THREAD)

all_task = [executor.submit(download, (url)) for url in urls]

for future in concurrent.futures.as_completed(all_task):

        filename = future.result()

        if not os.path.splitext(filename)[1]:

                img_type = imghdr.what(filename)

                os.rename(filename, filename + '.' + img_type)

end = time.time()               

print("所有图片下载完成,耗时%.2f秒" %(end-start))

[/ol]复制代码