遇到一个奇怪的网站，请教下爬虫大佬

yy小马君

本帖最后由 yy小马君 于 2019-4-30 15:17 编辑

rt，今天有个任务，需要爬一个网站：https://msyyl.ypzdw.com/



需要的是上图的商品信息，然后查看源码发现他是同步然后使用js渲染商品信息到页面
这样我就完全拿不到商品信息了，请问大佬们有没有什么好的解决方法？





查看network发现并不是异步加载js





其加载商品信息js

shuo502

shuo502 发表于 2019-4-30 15:16

vue
只会java爬虫。。

yy小马君

本帖最后由 三一土白 于 2019-4-30 15:22 编辑








数据全在这个网址中.

三一土白

三一土白 发表于 2019-4-30 15:20

数据全在这个网址中.
这个列表的数据不全，我需要进入到里面的数据。。

yy小马君

三一土白 发表于 2019-4-30 15:20

数据全在这个网址中.

我需要的是这种格式的商品的url：https://kelun.ypzdw.com/0/279196，你刚刚给我看的是：https://www.ypzdw.com/product/24
不过还是非常感谢了

yy小马君

本帖最后由 robot 于 2019-4-30 15:39 编辑

找到js就更简单了


一共就那么几条，没有什么找不到的

robot

yy小马君 发表于 2019-4-30 15:25

这个列表的数据不全，我需要进入到里面的数据。。
那进入那个页面,在这里面找的.

你肉眼能看到的数据,都在这里面,没什么找不到的.

我以前最笨的时候,是一个页面的response,复制粘贴出来,Ctrl +F找.从来没有找不到的.

三一土白

三一土白 发表于 2019-4-30 15:32

那进入那个页面,在这里面找的.

你肉眼能看到的数据,都在这里面,没什么找不到的.

头像好猛

leeker

这种最好做，直接把请求拿过来，返回过来的数据就是的了，不需要爬虫