新版的DHT爬虫先放弄上来，大家看看

带头盔滴衰锅 · 发表于 2015-5-7 01:01:10

新版爬虫多开server，几个server一起执行，应该能加快效率，这个有待测试~

同时增加了入库功能，每十分钟执行一次，所以可能看到爬虫已经爬到很多HASH了，但是数据库里还是没有，这是因为没有入库的原因~

入库使用exec执行wget下载种子，然后导入数据库，具体如何大家看看吧，在导航栏里有个爬虫运行状态，大家可以看到爬虫抓取结果。

这个运行状态是每次获取到infohash后更新一次，不是实时更新的

地址：http://dht.party/

御坂美琴 · 发表于 2015-5-7 01:03:31

哈哈哈域名不错。。本来想注册p2p的结果被注了。。

带头盔滴衰锅 · 发表于 2015-5-7 01:04:09

御坂美琴发表于 2015-5-7 01:03

哈哈哈域名不错。。本来想注册p2p的结果被注了。。
手快有，手慢无~

判官 · 发表于 2015-5-7 01:03:00

判官发表于 2015-5-7 01:07

放出来啊
大哥，还测试着呢，稳定了再放不行么？效果如何都还不知道啊，放出来被骂的。。。

带头盔滴衰锅 · 发表于 2015-5-7 01:07:18

判官发表于 2015-5-7 01:09

可以先看看采集抓取效果，看看相比旧的版本是否有所提高
还有就是入库我这里有一些问题，正在思考怎样解决~

判官 · 发表于 2015-5-7 01:08:45

好像也还没文件列表的样子？

带头盔滴衰锅 · 发表于 2015-5-7 01:07:00

wu360463231 发表于 2015-5-7 01:13

好像也还没文件列表的样子？
有了，太慢，而且我看了下，貌似下载的大小好多都一样的，等明天再看看是什么原因，现在先睡了~不错等开源

wu360463231 · 发表于 2015-5-7 01:09:39

支持

带头盔滴衰锅 · 发表于 2015-5-7 01:11:06

共索引 438 条磁力链接资源

怎么这么少呢？

海盗湾skycms · 发表于 2015-5-7 01:09:00

发现抓取速度比之前的快多了，就是入库有问题

		自动登录	找回密码
密码			立即注册