zcdb
zcdb
我们计算recall@100是看flat的top1在前100中是否能找到。 召回率区分度不太的话,另外一方面还要看并发,ivfflat的话压力上来了tp99会增加很多的。
vearch集成的原生hnswlib对应版本是没有do_efSearch_check的,我确认下
> 下边是截取了部分日志,单次查询距离计算的次数,感觉距离计算数量也偏多。 Cal dist times:15688 Cal dist times:17790 Cal dist times:10057 Cal dist times:16987 Cal dist times:21827 Cal dist times:18808 Cal dist times:16025 Cal dist times:20333 Cal dist times:25411 Cal...
> > > 下边是截取了部分日志,单次查询距离计算的次数,感觉距离计算数量也偏多。 Cal dist times:15688 Cal dist times:17790 Cal dist times:10057 Cal dist times:16987 Cal dist times:21827 Cal dist times:18808 Cal dist times:16025 Cal dist times:20333 Cal dist...
可以贴一下gamma.log吗?
可以看一下建索引时候的内存占用吗?
可以查看一下机器的监控,另外到达index_size挂掉,https://github.com/vearch/vearch/issues/473 也提到了类似的情况,你之前部署过其它版本的vearch吗?
建表语句可以贴一下吗?
搜索时增大nprobe试试,看是否是这个向量聚类效果不太好被分到了其它的桶里面
看内存占用确实偏低,调用一下接口 curl -XGET http://master_server/_cluster/health 看看集群中现在到底有多少数据呢?