设为首页收藏本站

简体中文 繁體中文 English 日本語 Deutsch 한국 사람 بالعربية TÜRKÇE português คนไทย Français

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 69|回复: 5

优Python大佬在吗?请教个问题

[复制链接]

91

主题

1590

回帖

3659

积分

论坛元老

积分
3659
发表于 2020-1-18 10:17:11 | 显示全部楼层 |阅读模式
目前有几百个url需要用requests请求并把返回的数据保存到数据库里。
循环这些地址的时候需要来一个time.sleep吗?
回复

使用道具 举报

54

主题

2536

回帖

5340

积分

论坛元老

积分
5340
发表于 2020-1-18 10:21:20 | 显示全部楼层
服务器没什么限制的话,尽量多线程呗
如果有限制特定时间内的连接数,那就随机time.sleep秒数好了
回复

使用道具 举报

91

主题

1590

回帖

3659

积分

论坛元老

积分
3659
 楼主| 发表于 2020-1-18 10:22:17 | 显示全部楼层

cherbim 发表于 2020-1-18 10:21

你要明白time.sleep什么意思,要是网站没限制,就不需要,要是频繁访问网站会限制,就随机加个睡眠时间,伪 ...

是的,明白了。
回复

使用道具 举报

78

主题

685

回帖

1706

积分

金牌会员

积分
1706
发表于 2020-1-18 10:29:13 | 显示全部楼层
别爬的太快可能会导致封了ip
回复

使用道具 举报

2

主题

12

回帖

40

积分

新手上路

积分
40
发表于 2020-1-18 10:21:00 | 显示全部楼层
如果不是同一个网站,那不会有限制呀,相当于同一个网站只是访问了一次。
回复

使用道具 举报

102

主题

329

回帖

1046

积分

金牌会员

积分
1046
发表于 2020-1-18 11:00:07 | 显示全部楼层
爬虫的话建议上异步哦,这种io阻塞最适合async了,效率杠杠的
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Discuz! X

GMT+8, 2026-3-24 16:18 , Processed in 0.013667 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表