MaxKB icon indicating copy to clipboard operation
MaxKB copied to clipboard

[BUG]【模型管理】- 优化添加模型的表单,增加提示词

Open xaswq opened this issue 1 year ago • 7 comments

联系方式

No response

MaxKB 版本

1.0.3

问题描述

image

我本地有 ollama 下载好的 通义千问模型,我想用这个,请问可以实现吗?还是只能用 llama

重现步骤

模型里面只能下拉 image

期待的正确结果

安装我所需要的任意模型,比如

image

相关日志输出

No response

附加信息

No response

xaswq avatar Apr 19 '24 16:04 xaswq

感谢反馈,基础模型可以自定义输入qwen:0.5b 然后回车,即可对接。

baixin513 avatar Apr 19 '24 22:04 baixin513

可以了,需要手动输入再打个回车,建议优化下这个逻辑。可以有个选项是其他,然后用户手动输入 image

xaswq avatar Apr 20 '24 07:04 xaswq

感谢反馈,后期版本我们优化一下支持自定义输入的提示语

baixin513 avatar Apr 21 '24 08:04 baixin513

感谢反馈,后期版本我们优化一下支持自定义输入的提示语

这边也有一个问题: 内网环境中,我已经起了一个ollama服务,也已经启动了一个模型(不是ollama pull 的,而是通过ollama create 的)。他会读取这个服务上的模型吗?还是说一定要手动填写我已经启动的模型名?

DirtyKnightForVi avatar Apr 22 '24 02:04 DirtyKnightForVi

以及你们怎么更改不同用户登陆使用是,导致的ollama模型切换重新加载到问题?

DirtyKnightForVi avatar Apr 22 '24 02:04 DirtyKnightForVi

感谢反馈,后期版本我们优化一下支持自定义输入的提示语

这边也有一个问题: 内网环境中,我已经起了一个ollama服务,也已经启动了一个模型(不是ollama pull 的,而是通过ollama create 的)。他会读取这个服务上的模型吗?还是说一定要手动填写我已经启动的模型名?

需要手动在 MaxKB 的 Ollama 模型表单中的基础模型输入你在 Ollama 上创建的模型名称就可以对接。

baixin513 avatar Apr 22 '24 03:04 baixin513

以及你们怎么更改不同用户登陆使用是,导致的ollama模型切换重新加载到问题? 没太明白问题。 如果想问后台应用中的 AI模型切换 配置,前端会话是怎么能加载的问题,回答如下: 后端应用切换模型,新的会话ID会使用新的模型配置。 已经打开的会话窗口还是之前的配置,关闭重开或者刷新链接后会适用新的应用配置。

baixin513 avatar Apr 22 '24 03:04 baixin513