wukong
wukong copied to clipboard
在官方最新源码基础上更改持久化存储对象为反向索引与评分字段
在官方最新源码基础上改进的:
- 持久化存储对象,从原始文档改为反向索引文档与文档评分字段,从而避免程序重启后,需要重新分词、索引的麻烦;
- 将持久数据库分片数与索引器、排序器的分片数保持一致,即实现一一对应关系,从而保证从数据库可以完美恢复;
- 依然存在的问题:悟空采用的这两中KV数据库,读写速率太慢,严重拖累高并发的特性。
1、貌似没有merge最新的master 2、像docid从uint64转为string是非常大的改动,需要评估需求和对性能的影响
另外change有些大,请split成几个小的request分别提交。
最近一次更新,我是用你最新源码把我改过的覆盖过的,知道你不能一下接受DocId的类型改变,这个最新的,我只是改了持久化存储
@huichen 还有,可以邀请你这位大牛来小弟建的这个讨论大数据的群吗?真心希望可以和兄弟你交流大数据方面的东西,而且咱们还算是老乡(^v^) http://shang.qq.com/wpa/qunwpa?idkey=83ee3e1a4be6bdb2b08a51a044c06ae52cf10a082f7c5cf6b36c1f78e8b03589