chat-ollama
chat-ollama copied to clipboard
ChatOllama is an open source chatbot based on LLMs. It supports a wide range of language models, and knowledge base management.
下了1.5b 和 7b, 跑了都出错,和比较大的参数的模型一样,感觉是超时报错了
https://github.com/sugarforever/chat-ollama/issues/493 现在可以往知识库增加文件,但不能删除文件。由于向量数据是有文件名的,应该不难实现
chatollama-1 | [ioredis] Unhandled error event: Error: getaddrinfo ENOTFOUND redis chatollama-1 | at GetAddrInfoReqWrap.onlookup [as oncomplete] (node:dns:109:26)
cloudflare AI有许多beta版本的模型是免费的, 正式版也有很高的免费额度。甚至可以添加一些自己调优的模型(有一定条件) 对于缺乏本地资源的用户来说真是太香了。 另外,c.loudflare AI gateway还为很多其他大模型提供代理服务,包括cache和log,记账、限速等服务: 
现在对话块的操作有两种,复制和删除。希望增加一个排除,具体功能是将该文本块排除出上下文。
然后要进行多模型对话的话,在模型选择哪里增加一个开关开启多模型对话。我想大多数情况下是切换回答。
https://github.com/sugarforever/chat-ollama/issues/460
知识库中经常需要导入一些文献的pdf。这些文件通常最后都是大段的参考文献,这些信息经常对于回答是毫无用处的,但是受限于RAG的原理,还是很高概率被检索出来作为参考。尽管通过不断修改提问的用语可以规避,但十分麻烦。如果在嵌入本地文件的时候提供一些简单过滤选项可以有效减少它的影响,比如嵌入的时候忽略前面多少页,或者忽略后面多少页。当然需要针对每个pdf进行设置。 https://github.com/sugarforever/chat-ollama/issues/315
https://github.com/VikParuchuri/marker