找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 119|回复: 12

redtube爬虫发布~~~~~~~~~~~~~~~~~~~~~~~~~~~~

[复制链接]

173

主题

1295

回帖

3191

积分

论坛元老

积分
3191
发表于 2018-5-4 13:34:20 | 显示全部楼层 |阅读模式

标题一定要长








(1.63 KB, 下载次数: 416)

2018-5-4 13:33 上传
点击文件名下载附件





默认爬取720P的清晰度,如果需要更低清晰度请修改代码87行。

爬取的页面是https://www.redtube.com/mostviewed

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

127

主题

1万

回帖

2万

积分

论坛元老

积分
22891
发表于 2018-5-4 14:28:47 | 显示全部楼层
权限1其实是游客也可见的。。。
回复

使用道具 举报

12

主题

500

回帖

1068

积分

金牌会员

积分
1068
发表于 2018-5-4 13:35:46 | 显示全部楼层
本帖最后由 全球资源提供商 于 2018-5-4 15:19 编辑

没什么卵用

我会告诉你我有超100T的资源
光tumblr就有20w

Update #0
分享不现实, 文件太多太大, 而且流量很贵

Update #1
看来你们对汤不热很有兴趣, 我给个逻辑
首先 你要维护一个用户列表, 就是更新资源的用户
然后循环这个列表去采集 就好了, 注意维护一个URL队列 去重用途

我是用的官方API来采集
逻辑这样

内容服务器
#1 采集
判断用户内容数量 如果和上次采集的数量一样
如果多 则代表有更新 采集 自动去重
标记为未下载

存储服务器
#2 下载
读取队列 查询未下载的
下载文件和图片 存储本地

#3 效验
我用的最简单的方法 判断文件是不是存在,且文件大小大于0
这样就好了




回复

使用道具 举报

173

主题

1295

回帖

3191

积分

论坛元老

积分
3191
 楼主| 发表于 2018-5-6 03:03:00 | 显示全部楼层

全球资源提供商 发表于 2018-5-4 13:35

没什么卵用

我会告诉你我有超100T的资源



有用就不会发布了 呵呵
回复

使用道具 举报

100

主题

500

回帖

1320

积分

金牌会员

积分
1320
发表于 2018-5-4 13:38:00 | 显示全部楼层

yongs 发表于 2018-5-4 13:40

求gd分享。

tongqiu
回复

使用道具 举报

225

主题

2389

回帖

5501

积分

论坛元老

积分
5501
发表于 2018-5-4 13:36:21 | 显示全部楼层

全球资源提供商 发表于 2018-5-4 13:35

没什么卵用

我会告诉你我有超100T的资源

赶紧的,分享一下,让我也瞧瞧
回复

使用道具 举报

4

主题

67

回帖

172

积分

注册会员

积分
172
发表于 2018-5-4 13:35:00 | 显示全部楼层

全球资源提供商 发表于 2018-5-4 13:35

没什么卵用

我会告诉你我有超100T的资源

不分享  让论坛兄弟bao你菊花  不用润滑油 用辣椒酱!

回复

使用道具 举报

82

主题

1840

回帖

3990

积分

论坛元老

积分
3990
发表于 2018-5-4 13:40:39 | 显示全部楼层
大佬10元的鸡鸡可以下载吗?想要看日韩的,欧美的简直不是人
回复

使用道具 举报

0

主题

1

回帖

4

积分

新手上路

积分
4
发表于 2018-5-4 14:14:19 | 显示全部楼层

全球资源提供商 发表于 2018-5-4 13:35

没什么卵用

我会告诉你我有超100T的资源

汤不热怎么采?
回复

使用道具 举报

2277

主题

6787

回帖

2万

积分

论坛元老

积分
20581
发表于 2018-5-4 13:40:00 | 显示全部楼层
你这样发**网站好吗?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Discuz! X

GMT+8, 2025-4-20 11:47 , Processed in 0.023852 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表