wget 如何批量下载，并按原目录结构保存

klon99

各位dalao wget 如何批量下载，并按原目录结构保存

目标网址是,下面的格式，以下只是举例，数量很多

http://www.xxx.com/aaa/文件名kkjf441.rar
http://www.xxx.com/aaa/文件名kk1221.rar
http://www.xxx.com/aaa/文件名1202221.rar
http://www.xxx.com/aaa/文件名k12f21.rar

http://www.xxx.com/bbb/文件名dfjfs21.rar
http://www.xxx.com/bbb/文件名kdfjf21.rar
http://www.xxx.com/bbb/文件名qwjf21.rar
http://www.xxx.com/bbb/文件名op2kjf21.rar

http://www.xxx.com/ccc/文件名dfjfs21.rar
http://www.xxx.com/ccc/文件名kdfjf21.rar
http://www.xxx.com/ccc/文件名qwjf21.rar
http://www.xxx.com/ccc/文件名op2kjf21.rar

各文件的地址全部可以获取到，我想实现的是，如何使用wget 批量下载上面的文件，并按原文件名和原目录保存呢？

klon99

传奇1900 发表于 2017-4-27 08:54

wget -c -r -np --restrict-file-names=nocontrol -L -p www.xxx.org/pub/path/

-c 断点续传
1. 只有各文件的url，直接访问目录是不显示文件地址的
2. 这样下载的，也是按目录保存吗，不是所有的文件放在一个目录下了吗

tsk

过来学习一下姿势……

shc

wget --mirror http://www.xxx.com/aaa/ 不用谢

klon99

shc 发表于 2017-4-27 09:02

wget --mirror http://www.xxx.com/aaa/ 不用谢

目录下就一个index.html ，是没有其它具体的文件地址的，这样也能行吗？

FanK007

都是高手，服务器不开启列表，你们确定你们这样能wget到？要是能的话，麻烦帮我把百度的源码下过来一份。

东方星雨

传奇1900 发表于 2017-4-27 08:54

wget -c -r -np --restrict-file-names=nocontrol -L -p www.xxx.org/pub/path/

-c 断点续传
厉害了
klon99 发表于 2017-4-27 09:10

目录下就一个index.html ，是没有其它具体的文件地址的，这样也能行吗？
没有当然不行。你要是知道每个文件的文件名就写个loop依次curl吧

341619932shc

wget -x -i url_list.txt

-x
       --force-directories
           The opposite of -nd---create a hierarchy of directories, even if
           one would not have been created otherwise.  E.g. wget -x
           http://fly.srk.fer.hr/robots.txt will save the downloaded file to
           fly.srk.fer.hr/robots.txt.

-i file
       --input-file=file
           Read URLs from a local or external file.  If - is specified as
           file, URLs are read from the standard input.  (Use ./- to read from
           a file literally named -.)

爱纯粹

爱纯粹 发表于 2017-4-27 09:24

wget -x -i url_list.txt

-x
谢谢，我先尝试一下，另外，如果对于已经下载的过的文件，不在下载，又要怎么处理呢。

klon99

传奇1900 发表于 2017-4-27 09:59

那可以这样
把你所有需要下载的文件列到一个txt里
然后wget -i download.txt
嗯，这样可行，但目录一多，这方法，工作量就大了