设为首页收藏本站

简体中文 繁體中文 English 日本語 Deutsch 한국 사람 بالعربية TÜRKÇE português คนไทย Français

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 80|回复: 6

我发现我不适合自己采集小说站,我就适合看

[复制链接]

26

主题

644

回帖

1488

积分

金牌会员

积分
1488
发表于 2020-5-11 22:57:32 | 显示全部楼层 |阅读模式
我就是照着201206030大佬的程序
小说精品屋-plus已开通充值功能,欢迎大家体验
自己在空闲的2o上搭了一个。
想着自己以后看书再也不用看广告了。可是爬了一天多了,才736本,6.8G




可能是2Ocpu太差了吧,跑程序的还是pve开的小小LXC鸡

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

26

主题

644

回帖

1488

积分

金牌会员

积分
1488
 楼主| 发表于 2020-5-16 13:15:50 | 显示全部楼层
更新:
才几天啊都快到一万本了。硬盘总共占了120G了,其中MySQL54G,再爬我鸡没地方了
回复

使用道具 举报

6

主题

114

回帖

322

积分

中级会员

积分
322
发表于 2020-5-16 13:31:44 | 显示全部楼层
content 都存数据库,估计小说多了带不动吧
回复

使用道具 举报

168

主题

2452

回帖

5456

积分

论坛元老

积分
5456
发表于 2020-5-11 23:02:24 | 显示全部楼层
确实,自己采集的话太消耗CPU和硬盘了
他支持一个单独的VPS采集然后远程调用吗?
回复

使用道具 举报

26

主题

644

回帖

1488

积分

金牌会员

积分
1488
 楼主| 发表于 2020-5-11 23:05:19 | 显示全部楼层

tir 发表于 2020-5-11 23:02

确实,自己采集的话太消耗CPU和硬盘了
他支持一个单独的VPS采集然后远程调用吗? ...

应该是可以的,我看爬虫设置文件里有ip的设置选项
回复

使用道具 举报

40

主题

223

回帖

680

积分

高级会员

积分
680
发表于 2020-5-11 23:02:00 | 显示全部楼层
这是要逼我玩大盘鸡了吗
回复

使用道具 举报

57

主题

337

回帖

943

积分

高级会员

积分
943
发表于 2020-5-11 23:24:32 | 显示全部楼层

lansghy 发表于 2020-5-16 13:31

content 都存数据库,估计小说多了带不动吧

估计有点,因为现在content表是百万级的数量
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Discuz! X

GMT+8, 2026-3-24 16:11 , Processed in 0.016478 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表