chat-ollama
chat-ollama copied to clipboard
ChatOllama is an open source chatbot based on LLMs. It supports a wide range of language models, and knowledge base management.
#382 对兼容OpenAI的API的支持,这类API可能有不同的模型名。 需要对目前的API Key的设置,重新设计,并实现。

1,各个模型貌似是写死的,比如MOONSHOT_MODELS中就只有 "moonshot-v1-8k", "moonshot-v1-32k", "moonshot-v1-128k";我记得各家兼容openai的都有/models ,可以query,直接查询得到所有的models,这样有个好处,比如使用的是one-api这种聚合类的api,就一次把所有模型都接进来了。不用设置那么多。 2,embedding模型貌似也是只能选写死的几个,Ollama可以载入所有的gguf模型,这面也包括embedding模型,后期应该让用户可以自己选。
#387 当第三方API Key已配置,可以通过 /models API动态获取支持的模型列表。

部署环境: 1. 我在远程服务器上非 docker 环境部署了 ollama server. 直接部署在服务上 2. chatollama 使用了 docker-compose 部署方式, 部署文件和此项目是一样的.没有改动. chatollama 可以访问. ollama server 也是打开的. 进行对话时正常.但是创建知识时,出现错误,日志如下: ChatOllama is unable to establish a connection with http://host.docker.internal:11434 我尝试着在chatollama...
添加知识库报错
KnowledgeBaseFile with ID: 16 2024-04-30 17:30:40 Creating embeddings for Ollama served model: nomic-embed-text:latest 2024-04-30 17:30:40 Creating Chroma vector store 2024-04-30 17:30:40 Initializing ParentDocumentRetriever with RedisDocstore 2024-04-30 17:30:40 Redis client options:...