chat-ollama icon indicating copy to clipboard operation
chat-ollama copied to clipboard

[Request] 支持第三方的embedding和Vector DB

Open meokey opened this issue 11 months ago • 5 comments

我今天试了试Knowledge Base,发现我运行ChatOllama的Host的性能太差,几个文件embed了很长时间。不知道能否支持第三方比如OpenAI的embeddings模型?

还有,vector DB是否也可选支持pinecone等第三方?

谢谢。

meokey avatar Mar 21 '24 02:03 meokey

我今天试了试Knowledge Base,发现我运行ChatOllama的Host的性能太差,几个文件embed了很长时间。不知道能否支持第三方比如OpenAI的embeddings模型?

还有,vector DB是否也可选支持pinecone等第三方?

谢谢。

可以的。当你在Settings里设置了OpenAI API Key,就可以在知识库创建时使用OpenAI的embedding模型,比如text-embedding-ada-002

向量数据库的创建未来会添加。如果有兴趣也欢迎你参与进来一起开发。

这个项目的初衷是完全本地化的基于大模型的应用。看来大家还是对第三方API的集成有很大的兴趣。那就做起来

sugarforever avatar Mar 22 '24 00:03 sugarforever

我今天试了试Knowledge Base,发现我运行ChatOllama的Host的性能太差,几个文件embed了很长时间。不知道能否支持第三方比如OpenAI的embeddings模型? 还有,vector DB是否也可选支持pinecone等第三方? 谢谢。

可以的。当你在Settings里设置了OpenAI API Key,就可以在知识库创建时使用OpenAI的embedding模型,比如text-embedding-ada-002

谢谢。如果能够在embedding模型输入那儿换成下拉菜单列出valid的embedding模型供选择就好了。

这个项目的初衷是完全本地化的基于大模型的应用。看来大家还是对第三方API的集成有很大的兴趣。那就做起来

主要的问题在于大家自己本地的平台很少有足够的GPU算力,所以只能依赖于第三方API了。

meokey avatar Mar 22 '24 18:03 meokey

我今天试了试Knowledge Base,发现我运行ChatOllama的Host的性能太差,几个文件embed了很长时间。不知道能否支持第三方比如OpenAI的embeddings模型? 还有,vector DB是否也可选支持pinecone等第三方? 谢谢。

可以的。当你在Settings里设置了OpenAI API Key,就可以在知识库创建时使用OpenAI的embedding模型,比如text-embedding-ada-002

谢谢。如果能够在embedding模型输入那儿换成下拉菜单列出valid的embedding模型供选择就好了。

这个项目的初衷是完全本地化的基于大模型的应用。看来大家还是对第三方API的集成有很大的兴趣。那就做起来

主要的问题在于大家自己本地的平台很少有足够的GPU算力,所以只能依赖于第三方API了。

非常感谢你的反馈。embedding模型会尽快替换为更友好的下拉框。

sugarforever avatar Mar 22 '24 19:03 sugarforever

能支持 HuggingFace 的Embeddings Model 嗎?

from langchain.embeddings import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-base")

Jakevin avatar Apr 17 '24 16:04 Jakevin

可以的。待我们简单规划一下如何更好地支持多种embedding model。

sugarforever avatar Apr 17 '24 20:04 sugarforever