关于淘宝的丝袜爬虫历史贴

今晚我是你的

本帖最后由 今晚我是你的 于 2019-3-19 06:30 编辑

https://www.hostloc.com/thread-507739-1-1.html

https://h5.m.taobao.com/ocean/privatenode/shop.html?sellerId=109043255


这个淘宝瀑布流技术难点在于 没有单独的列表页，而那个json的地址又不能单独打开，page也不能直接修改。

集思广益，找出自动爬下一页列表页url的方法。（目前只知道手动去抓下一页的，我已经爬完了，不过依然没有学会如何自动爬下一页，因为下一页的page不能单独改的，url里面的各种参数值也是随机的）


仅供交流学习，提高自己的技术水平，不要老想着撸啊撸

怅惘

https://h5.m.taobao.com/ocean/privatenode/shop.html?sellerId=673336836

冰镇苏打水

本帖最后由 冰镇苏打水 于 2019-3-8 19:02 编辑

为了回复帖子,专门买了个注册吗.洋洋洒洒写了签名过程.
贴了个超链接,然后说不能发地址.然后都给我删了.
醉了 ....

t.(删括号以及内容)cn/EMvA4mo

虚滞

好不容易上次网 不仅花了钱 营养还流失了

adscrx

666，那就分享出了吧，大佬

冰镇苏打水

打开淘宝的任何一个具体商品页,在控制台输入一下代码.替换掉网址中的"sellerId"的值

[ol][*](function getUserId(){
[*]    var name = "userid=";
[*]    var ca = document.querySelector('meta[name="microscope-data"]').content.split(';');
[*]    for(var i=0; i复制代码

蓝翔技校

分享出来，今晚我是你的

sora

这种爬虫可以写, 无限抓取, 但是目前还在学.

五零二八

十香 发表于 2019-3-6 18:08

卧槽.够劲,这论坛就这样,说着说着就开车了
说着说着就开车了

大白馒头。

小白表示只会用远古火车头，感谢提供网址，晚点用火车头试试