带头盔滴衰锅 发表于 2016-2-28 08:37:27

用了全文索引，效果果然不一样了！

之前做ＤＨＴ时没有使用全文索引软件，直接对数据库进行搜索查询，用过MySQL，用过MongoDB，效果都差不多，性能很差，一次查询要几秒甚至十几秒！

之后使用全文索引，用的elasticsearch，配合mongodb，效果一下子就明显了，在13W数据中查询出3W的数据只耗时199ms，强了太多太多了！

不过还是有问题，就是数据资源占用问题，因为用了mongodb存储一份，然后使用elasticsearch再存储一份，导致存在两份数据，资源占用就大了很多很多！

新的DHT演示：http://btkuaiche.com

卖女孩的小火柴 发表于 2016-2-28 08:45:14


卖女孩的小火柴 发表于 2016-2-28 08:45

直接查询数据库，牛x
当时是作为测试使用的，哈哈

带头盔滴衰锅 发表于 2016-2-28 08:47:05

技术大牛。研究的都是高深东西。

斜阳晚暮 发表于 2016-2-28 08:45:00

bt快车，送上一ip

sense 发表于 2016-2-28 08:48:45


斜阳晚暮 发表于 2016-2-28 08:48

技术大牛。研究的都是高深东西。
这个不高深啊，好多人都在就做站了

带头盔滴衰锅 发表于 2016-2-28 08:49:44


sense 发表于 2016-2-28 08:49

bt快车，送上一ip
谢谢～顺便继续水一贴

带头盔滴衰锅 发表于 2016-2-28 08:49:47

现在日均采集量为2W左右

带头盔滴衰锅 发表于 2016-2-28 08:48:00

"
你用的是手撕包菜？
笃笃 发表于 2016-2-28 09:55

你用的是手撕包菜？
不是，是我自己用golang写的

绝对冷血 发表于 2016-2-28 08:50:50

要不然 共享源码~~~嘿嘿~~~~

带头盔滴衰锅 发表于 2016-2-28 08:49:00


绝对冷血 发表于 2016-2-28 10:20

要不然 共享源码~~~嘿嘿~~~~
到时候看吧，我先测试了看看，之前有BUG版的已经共享了，这个版本的没开放
页: [1] 2 3
查看完整版本: 用了全文索引，效果果然不一样了！