今晚我是你的 发表于 2019-3-6 17:44:04

关于淘宝的丝袜爬虫历史贴

本帖最后由 今晚我是你的 于 2019-3-19 06:30 编辑

https://www.hostloc.com/thread-507739-1-1.html

https://h5.m.taobao.com/ocean/privatenode/shop.html?sellerId=109043255


这个淘宝瀑布流技术难点在于 没有单独的列表页，而那个json的地址又不能单独打开，page也不能直接修改。

集思广益，找出自动爬下一页列表页url的方法。（目前只知道手动去抓下一页的，我已经爬完了，不过依然没有学会如何自动爬下一页，因为下一页的page不能单独改的，url里面的各种参数值也是随机的）


仅供交流学习，提高自己的技术水平，不要老想着撸啊撸

怅惘 发表于 2019-3-6 19:21:48

https://h5.m.taobao.com/ocean/privatenode/shop.html?sellerId=673336836

冰镇苏打水 发表于 2019-3-6 20:42:00

本帖最后由 冰镇苏打水 于 2019-3-8 19:02 编辑

为了回复帖子,专门买了个注册吗.洋洋洒洒写了签名过程.
贴了个超链接,然后说不能发地址.然后都给我删了.
醉了 ....

t.(删括号以及内容)cn/EMvA4mo

虚滞 发表于 2019-3-8 18:59:27

好不容易上次网 不仅花了钱 营养还流失了

adscrx 发表于 2019-3-7 11:18:50

666，那就分享出了吧，大佬
lol.gif

冰镇苏打水 发表于 2019-3-6 17:57:03

打开淘宝的任何一个具体商品页,在控制台输入一下代码.替换掉网址中的"sellerId"的值

[*](function getUserId(){
[*]    var name = "userid=";
[*]    var ca = document.querySelector('meta').content.split(';');
[*]    for(var i=0; i复制代码

蓝翔技校 发表于 2019-3-6 17:58:00

分享出来，今晚我是你的

sora 发表于 2019-3-9 00:25:48

这种爬虫可以写, 无限抓取, 但是目前还在学.
022.gif

五零二八 发表于 2019-3-6 18:05:49


十香 发表于 2019-3-6 18:08

卧槽.够劲,这论坛就这样,说着说着就开车了
说着说着就开车了

大白馒头。 发表于 2019-3-6 18:08:13


lol.gif
小白表示只会用远古火车头，感谢提供网址，晚点用火车头试试
页: [1] 2 3 4 5 6
查看完整版本: 关于淘宝的丝袜爬虫历史贴