MaxKB
MaxKB copied to clipboard
[BUG]【模型管理】- 优化添加模型的表单,增加提示词
联系方式
No response
MaxKB 版本
1.0.3
问题描述
我本地有 ollama 下载好的 通义千问模型,我想用这个,请问可以实现吗?还是只能用 llama
重现步骤
模型里面只能下拉
期待的正确结果
安装我所需要的任意模型,比如
相关日志输出
No response
附加信息
No response
感谢反馈,基础模型可以自定义输入qwen:0.5b 然后回车,即可对接。
可以了,需要手动输入再打个回车,建议优化下这个逻辑。可以有个选项是其他,然后用户手动输入
感谢反馈,后期版本我们优化一下支持自定义输入的提示语
感谢反馈,后期版本我们优化一下支持自定义输入的提示语
这边也有一个问题: 内网环境中,我已经起了一个ollama服务,也已经启动了一个模型(不是ollama pull 的,而是通过ollama create 的)。他会读取这个服务上的模型吗?还是说一定要手动填写我已经启动的模型名?
以及你们怎么更改不同用户登陆使用是,导致的ollama模型切换重新加载到问题?
感谢反馈,后期版本我们优化一下支持自定义输入的提示语
这边也有一个问题: 内网环境中,我已经起了一个ollama服务,也已经启动了一个模型(不是ollama pull 的,而是通过ollama create 的)。他会读取这个服务上的模型吗?还是说一定要手动填写我已经启动的模型名?
需要手动在 MaxKB 的 Ollama 模型表单中的基础模型输入你在 Ollama 上创建的模型名称就可以对接。
以及你们怎么更改不同用户登陆使用是,导致的ollama模型切换重新加载到问题? 没太明白问题。 如果想问后台应用中的 AI模型切换 配置,前端会话是怎么能加载的问题,回答如下: 后端应用切换模型,新的会话ID会使用新的模型配置。 已经打开的会话窗口还是之前的配置,关闭重开或者刷新链接后会适用新的应用配置。