要命的事啊

lovees · 发表于 2018-11-19 10:19:59

搞了个爬虫站，然后忘记关闭了，结果一个月在服务器给我爬了600G的数据下来，真要命，文件太多了 rm -rf 了接近6小时了.

东坡小浪 · 发表于 2018-11-19 10:21:27

这是来秀硬盘的吗？

miniliuke · 发表于 2018-11-19 10:21:56

忘记一个月，你是来秀机器多的吗，另求带写爬虫。

itkylin · 发表于 2018-11-19 10:23:45

一个月600g 爬的啥这么少

ojoehao · 发表于 2018-11-19 10:27:00

600g的大姐姐吗

kizer2009 · 发表于 2018-11-19 10:25:58

ojoehao 发表于 2018-11-19 10:25

一个月600g 爬的啥这么少
纯文本自动生成源码，每个文件大概1.5K大小，然后有600多G了，删除时候N个子文件夹N个文件，已经快疯了

lovees · 发表于 2018-11-19 10:26:22

itkylin 发表于 2018-11-19 10:23

忘记一个月，你是来秀机器多的吗，另求带写爬虫。
我可以代写爬虫...................................

miniliuke · 发表于 2018-11-19 10:29:38

用rsync删超大或者超多文件我一天就能爬几T。。。怎么活？

shiroecosway598 · 发表于 2018-11-19 10:25:00

莫名喜感心疼楼主一秒

aiseo · 发表于 2018-11-19 10:32:01

ecosway598 发表于 2018-11-19 11:12

py文章爬虫入库wp数据库能写吗？
可以.......PY、C、GO、JAVA都行(PHP不行).......

		自动登录	找回密码
密码			立即注册