Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

[FEATURE] 能否增加对于milvus向量数据库的支持 / Concise description of the feature

Open ColorfulDick opened this issue 1 year ago • 11 comments

功能描述 / Feature Description 提供一个可选配置,可以让用户自由选择使用faiss本地库或milvus远程/分布式向量数据库,作为向量存储 / Describe the desired feature in a clear and concise manner.

解决的问题 / Problem Solved 当知识库的数据量大的时候(大于200m的txt文件),faiss-cpu的io速度太慢,无法使用gpu,且无法横向扩展;而milvus将在2.3版本支持gpu,且是存算分离架构,云原生友好,部署方便; / Explain how this feature solves existing problems or improves the project.

实现建议 / Implementation Suggestions 实现一个接口,可以通过配置文件配置使用哪款向量数据库,milvus还是faiss / If possible, provide suggestions on how to implement this feature.

替代方案 / Alternative Solutions 暂无替代方案,目前只调研过milvus / Describe alternative solutions you have considered.

其他信息 / Additional Information 添加与功能请求相关的任何其他信息 / Add any other information related to the feature request.

ColorfulDick avatar May 06 '23 06:05 ColorfulDick

+1

shenping1916 avatar May 06 '23 09:05 shenping1916

+1

exceedzhang avatar May 06 '23 11:05 exceedzhang

+1

fh1999 avatar May 09 '23 01:05 fh1999

++1

Sauloo-huen avatar May 11 '23 06:05 Sauloo-huen

您好 请问您有思路怎么实现吗?

Sauloo-huen avatar May 15 '23 07:05 Sauloo-huen

faiss有gpu版本的,为何这个版本不使用呢

AlexYoung757 avatar May 17 '23 06:05 AlexYoung757

+1,可通过配置,增加常用的向量检索框架,如annoy,faiss以及jina

AlexYoung757 avatar May 17 '23 06:05 AlexYoung757

faiss有gpu版本的,为何这个版本不使用呢

milvus可是存算分离的,上生产可比faiss猛多了

ColorfulDick avatar May 17 '23 08:05 ColorfulDick

faiss有gpu版本的,为何这个版本不使用呢

milvus可是存算分离的,上生产可比faiss猛多了

有道理。还是国产开源的

AlexYoung757 avatar May 17 '23 09:05 AlexYoung757

+1

AI-Mart avatar Jun 04 '23 09:06 AI-Mart

什么时候能增加呢?

AI-Mart avatar Jun 14 '23 22:06 AI-Mart

+1+1+1+1+1

12xiaoni avatar Jun 19 '23 02:06 12xiaoni

+1

MurrayC7 avatar Jun 20 '23 03:06 MurrayC7

milvus和faiss使用方式很像,但是需要docker来启动

BrooklynLrx avatar Jun 21 '23 07:06 BrooklynLrx

new_db = Milvus.from_documents(documents, embedding=embeddings,connection_args={"host": "127.0.0.1", "port": "19530"},)

BrooklynLrx avatar Jun 21 '23 07:06 BrooklynLrx

+1

hengwangyue avatar Jun 29 '23 12:06 hengwangyue

+1111

Gy1900 avatar Jul 10 '23 03:07 Gy1900

+1

weifan-zhao avatar Jul 18 '23 06:07 weifan-zhao

已增加 milvus 和 pg 支持

imClumsyPanda avatar Aug 12 '23 09:08 imClumsyPanda