把DHT改为mysql+sphinx了，空间占用降下来好多啊！

带头盔滴衰锅 · 发表于 2016-3-8 17:15:29

之前用的MongoDB+Elasticsearch，等于是存储了两份相同的数据，导致空间占用过大，才20W数据就占用了我差不多10个G
本来想不用MongoDB，直接使用Elasticsearch得了，但是发现Elasticsearch在提取数据时，单条数据提取似乎比MongoDB慢
然后又想到很多人推荐MySQL+Sphinx，干脆改了，改完之后空间存储占用的确下降了好多啊！

月痕 · 发表于 2016-3-8 17:16:49

求开源

带头盔滴衰锅 · 发表于 2016-3-8 17:18:10

等等看，我测试了看看再决定是否开源

卖女孩的小火柴 · 发表于 2016-3-8 17:19:30

但是有时查询会出现sphinx无法连接的问题

带头盔滴衰锅 · 发表于 2016-3-8 17:24:17

虽然看不到前途帮顶

malong101 · 发表于 2016-3-8 18:28:23

开元的呢

loveni · 发表于 2016-3-8 19:24:02

…这几天也在折腾用go写了一个效率是不错… 挂了6小时爬到了800多万(不知道去重复的和蜜罐来的假hash后还有多少) 在想用啥数据库入库…

shiro · 发表于 2016-3-8 20:02:49

"

6小时800万。。。
你只是统计了hash还是只计算入库的？
是去重了么？
数据库的话自己看吧，选自己喜欢的

带头盔滴衰锅 · 发表于 2016-3-8 20:46:05

本帖最后由 shiro 于 2016-3-8 22:14 编辑

带头盔滴衰锅发表于 2016-3-8 20:46

6小时800万。。。
你只是统计了hash还是只计算入库的？
是去重了么？

只统计了抓到的hash..还没处理呢
shiro 发表于 2016-3-8 22:12

只统计了抓到的hash..还没处理呢
哦，我就说呢，如果这么高的效率，得多高的CPU，得多少流量

77sky · 发表于 2016-3-8 20:02:00

已经有多个开源的了。

		自动登录	找回密码
密码			立即注册