wukong icon indicating copy to clipboard operation
wukong copied to clipboard

在官方最新源码基础上更改持久化存储对象为反向索引与评分字段

Open andeya opened this issue 8 years ago • 3 comments

在官方最新源码基础上改进的:

  1. 持久化存储对象,从原始文档改为反向索引文档与文档评分字段,从而避免程序重启后,需要重新分词、索引的麻烦;
  2. 将持久数据库分片数与索引器、排序器的分片数保持一致,即实现一一对应关系,从而保证从数据库可以完美恢复;
  3. 依然存在的问题:悟空采用的这两中KV数据库,读写速率太慢,严重拖累高并发的特性。

andeya avatar Nov 28 '15 12:11 andeya

1、貌似没有merge最新的master 2、像docid从uint64转为string是非常大的改动,需要评估需求和对性能的影响

另外change有些大,请split成几个小的request分别提交。

huichen avatar Nov 29 '15 09:11 huichen

最近一次更新,我是用你最新源码把我改过的覆盖过的,知道你不能一下接受DocId的类型改变,这个最新的,我只是改了持久化存储

andeya avatar Nov 29 '15 09:11 andeya

@huichen 还有,可以邀请你这位大牛来小弟建的这个讨论大数据的群吗?真心希望可以和兄弟你交流大数据方面的东西,而且咱们还算是老乡(^v^) http://shang.qq.com/wpa/qunwpa?idkey=83ee3e1a4be6bdb2b08a51a044c06ae52cf10a082f7c5cf6b36c1f78e8b03589

andeya avatar Nov 29 '15 09:11 andeya