chat-ollama
chat-ollama copied to clipboard
[Request] 支持第三方的embedding和Vector DB
我今天试了试Knowledge Base,发现我运行ChatOllama的Host的性能太差,几个文件embed了很长时间。不知道能否支持第三方比如OpenAI的embeddings模型?
还有,vector DB是否也可选支持pinecone等第三方?
谢谢。
我今天试了试Knowledge Base,发现我运行ChatOllama的Host的性能太差,几个文件embed了很长时间。不知道能否支持第三方比如OpenAI的embeddings模型?
还有,vector DB是否也可选支持pinecone等第三方?
谢谢。
可以的。当你在Settings里设置了OpenAI API Key,就可以在知识库创建时使用OpenAI的embedding模型,比如text-embedding-ada-002
向量数据库的创建未来会添加。如果有兴趣也欢迎你参与进来一起开发。
这个项目的初衷是完全本地化的基于大模型的应用。看来大家还是对第三方API的集成有很大的兴趣。那就做起来
我今天试了试Knowledge Base,发现我运行ChatOllama的Host的性能太差,几个文件embed了很长时间。不知道能否支持第三方比如OpenAI的embeddings模型? 还有,vector DB是否也可选支持pinecone等第三方? 谢谢。
可以的。当你在Settings里设置了OpenAI API Key,就可以在知识库创建时使用OpenAI的embedding模型,比如text-embedding-ada-002
谢谢。如果能够在embedding模型输入那儿换成下拉菜单列出valid的embedding模型供选择就好了。
这个项目的初衷是完全本地化的基于大模型的应用。看来大家还是对第三方API的集成有很大的兴趣。那就做起来
主要的问题在于大家自己本地的平台很少有足够的GPU算力,所以只能依赖于第三方API了。
我今天试了试Knowledge Base,发现我运行ChatOllama的Host的性能太差,几个文件embed了很长时间。不知道能否支持第三方比如OpenAI的embeddings模型? 还有,vector DB是否也可选支持pinecone等第三方? 谢谢。
可以的。当你在Settings里设置了OpenAI API Key,就可以在知识库创建时使用OpenAI的embedding模型,比如text-embedding-ada-002
谢谢。如果能够在embedding模型输入那儿换成下拉菜单列出valid的embedding模型供选择就好了。
这个项目的初衷是完全本地化的基于大模型的应用。看来大家还是对第三方API的集成有很大的兴趣。那就做起来
主要的问题在于大家自己本地的平台很少有足够的GPU算力,所以只能依赖于第三方API了。
非常感谢你的反馈。embedding模型会尽快替换为更友好的下拉框。
能支持 HuggingFace 的Embeddings Model 嗎?
from langchain.embeddings import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-base")
可以的。待我们简单规划一下如何更好地支持多种embedding model。