【已解决】小说爬虫疑问

cgi · 发表于 2020-9-7 19:42:48

本帖最后由 cgi 于 2020-9-8 09:59 编辑

我用python 写的脚本获取了目录页面所有的章节，然后下载的时候总是会下载红框里的章节，并不是从第一章开始下载的，有老哥指点一下吗。我相信LOC 肯定有爬虫大佬

用了@laogui 老哥说的方法然后搜了一下 following-sibling 定位准确一些

h20 · 发表于 2020-9-7 19:44:20

h20 发表于 2020-9-7 19:44

这种MJJ都是收费咨询
好吧。我再去b站看看

cgi · 发表于 2020-9-7 19:45:59

大概看了下，你的解析写的有问题，第一个穿的就是红框里的网址，肯定下载的也是那里的

vagrantear · 发表于 2020-9-7 19:44:00

43行改为
[ol]

for href in href_s[12:]:[/ol]复制代码

518 · 发表于 2020-9-7 19:54:09

518 发表于 2020-9-7 20:09

43行改为
这样没从根本上解决问题，换个小说又要换，而且那部分内容还少了

vagrantear · 发表于 2020-9-7 20:09:14

本帖最后由 518 于 2020-9-7 20:22 编辑

vagrantear 发表于 2020-9-7 20:13

这样没从根本上解决问题，换个小说又要换，而且那部分内容还少了

好吧那就改为
[ol]

for href in href_s[min(12,len(href_s)//2):]:[/ol]复制代码

啊不要这样 · 发表于 2020-9-7 20:13:20

期待大佬出现。我赶紧mark一下。你得学一点html

518 · 发表于 2020-9-7 20:09:00

dl中把两个dt中间内容删掉就行了

goop · 发表于 2020-9-7 20:18:59

本帖最后由 pikiti 于 2020-9-8 11:49 编辑

拉倒

老坛酸菜Alanku · 发表于 2020-9-7 20:19:14

要不要试试参考一下阅读（安卓APP github或者酷安可下载）的书源？
我记得阅读的书源是有章节获取规则的
阅读：https://github.com/gedoor/legado
源仓库：http://yck.mumuceo.com/

		自动登录	找回密码
密码			立即注册

【已解决】小说爬虫疑问

本帖子中包含更多资源