设为首页收藏本站

简体中文 繁體中文 English 日本語 Deutsch 한국 사람 بالعربية TÜRKÇE português คนไทย Français

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 70|回复: 8

遇到一个奇怪的网站,请教下爬虫大佬

[复制链接]

38

主题

189

回帖

534

积分

高级会员

积分
534
发表于 2019-4-30 15:14:51 | 显示全部楼层 |阅读模式
本帖最后由 yy小马君 于 2019-4-30 15:17 编辑

rt,今天有个任务,需要爬一个网站:https://msyyl.ypzdw.com/



需要的是上图的商品信息,然后查看源码发现他是同步然后使用js渲染商品信息到页面
这样我就完全拿不到商品信息了,请问大佬们有没有什么好的解决方法?





查看network发现并不是异步加载js





其加载商品信息js


回复

使用道具 举报

114

主题

345

回帖

1074

积分

金牌会员

积分
1074
发表于 2019-4-30 15:16:33 | 显示全部楼层

shuo502 发表于 2019-4-30 15:16

vue

只会java爬虫。。
回复

使用道具 举报

38

主题

189

回帖

534

积分

高级会员

积分
534
 楼主| 发表于 2019-4-30 15:17:46 | 显示全部楼层
本帖最后由 三一土白 于 2019-4-30 15:22 编辑








数据全在这个网址中.
回复

使用道具 举报

42

主题

288

回帖

762

积分

高级会员

积分
762
发表于 2019-4-30 15:16:00 | 显示全部楼层

三一土白 发表于 2019-4-30 15:20

数据全在这个网址中.

这个列表的数据不全,我需要进入到里面的数据。。
回复

使用道具 举报

38

主题

189

回帖

534

积分

高级会员

积分
534
 楼主| 发表于 2019-4-30 15:20:57 | 显示全部楼层

三一土白 发表于 2019-4-30 15:20

数据全在这个网址中.


我需要的是这种格式的商品的url:https://kelun.ypzdw.com/0/279196,你刚刚给我看的是:https://www.ypzdw.com/product/24
不过还是非常感谢了
回复

使用道具 举报

38

主题

189

回帖

534

积分

高级会员

积分
534
 楼主| 发表于 2019-4-30 15:25:06 | 显示全部楼层
本帖最后由 robot 于 2019-4-30 15:39 编辑

找到js就更简单了


一共就那么几条,没有什么找不到的




回复

使用道具 举报

94

主题

1577

回帖

3486

积分

论坛元老

积分
3486
发表于 2019-4-30 15:20:00 | 显示全部楼层

yy小马君 发表于 2019-4-30 15:25

这个列表的数据不全,我需要进入到里面的数据。。

那进入那个页面,在这里面找的.

你肉眼能看到的数据,都在这里面,没什么找不到的.

我以前最笨的时候,是一个页面的response,复制粘贴出来,Ctrl +F找.从来没有找不到的.
回复

使用道具 举报

42

主题

288

回帖

762

积分

高级会员

积分
762
发表于 2019-4-30 15:29:37 | 显示全部楼层

三一土白 发表于 2019-4-30 15:32

那进入那个页面,在这里面找的.

你肉眼能看到的数据,都在这里面,没什么找不到的.

头像好猛
回复

使用道具 举报

2

主题

73

回帖

180

积分

注册会员

积分
180
发表于 2019-4-30 15:20:00 | 显示全部楼层
这种最好做,直接把请求拿过来,返回过来的数据就是的了,不需要爬虫
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Discuz! X

GMT+8, 2025-12-22 00:41 , Processed in 0.031105 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表