FastGPT
FastGPT copied to clipboard
问答拆分似乎有问题,隔段时间ollama ps里面的模型就变成stopping,即便设置了forever也不行,必须要重启oneapi才可以重新运行
例行检查
- [ ] 我已确认目前没有类似 issue
- [x] 我已完整查看过项目 README,以及项目文档
- [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
- [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
- [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
你的版本
- [ ] 公有云版本
- [ ] 私有部署版本, 具体版本号:
问题描述, 日志截图,配置文件等
复现步骤
预期结果
相关截图
这不是 ollama 的问题么?
这不是 ollama 的问题么?
不像是,因为我用了别的oneapi调用是可以的,不知道是不是镜像的问题,只要知识库运行久一些就这样
知识库又不能操作模型,怎么可能影响 ollama 系统?
知识库又不能操作模型,怎么可能影响 ollama 系统? 问答拆分不是操作模型了吗
知识库又不能操作模型,怎么可能影响 ollama 系统? 问答拆分不是操作模型了吗
😂调用模型而已,怎么能操作模型状态
知识库又不能操作模型,怎么可能影响 ollama 系统? 问答拆分不是操作模型了吗
😂调用模型而已,怎么能操作模型状态 是的,我也觉得奇怪,但是排查了几次,问题具体说是这样的,就是如果知识库选择了很多问答拆分,发现显卡会运转一阵子(5~10分钟)就停止了,就是只索引了一部分,检查了显卡没啥问题,于是我一开始怀疑是ollama本身模型是5分钟内不活动的话就自动销毁,有可能是我一下子给的文档太多,索引或者读取需要时间或者数据库速度慢可能间隔超过了5分钟销毁了,于是我就设置了forever,但是还是出现了这个问题,然后看oneapi的日志,发现会有model ratio not found 这些,但是模型是存在的,有时候重启一下oneapi就又可以,但是也是拆分5~10分钟又卡住了,就是问答拆分总是无法一次性完成,但是dify的话就没这个问题,显卡一直都是跑着直到拆分结束
跟ollama的五分钟应该没关系,ollama的五分钟是指模型不工作五分钟后释放,你这个不属于是个限制
---原始邮件--- 发件人: @.> 发送时间: 2025年2月17日(周一) 上午8:45 收件人: @.>; 抄送: @.@.>; 主题: Re: [labring/FastGPT] 问答拆分似乎有问题,隔段时间ollama ps里面的模型就变成stopping,即便设置了forever也不行,必须要重启oneapi才可以重新运行 (Issue #3747)
知识库又不能操作模型,怎么可能影响 ollama 系统? 问答拆分不是操作模型了吗
😂调用模型而已,怎么能操作模型状态 是的,我也觉得奇怪,但是排查了几次,问题具体说是这样的,就是如果知识库选择了很多问答拆分,发现显卡会运转一阵子(5~10分钟)就停止了,就是只索引了一部分,检查了显卡没啥问题,于是我一开始怀疑是ollama本身模型是5分钟内不活动的话就自动销毁,有可能是我一下子给的文档太多,索引或者读取需要时间或者数据库速度慢可能间隔超过了5分钟销毁了,于是我就设置了forever,但是还是出现了这个问题,然后看oneapi的日志,发现会有model ratio not found 这些,但是模型是存在的,有时候重启一下oneapi就又可以,但是也是拆分5~10分钟又卡住了,就是问答拆分总是无法一次性完成,但是dify的话就没这个问题,显卡一直都是跑着直到拆分结束
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***> YQChen8 left a comment (labring/FastGPT#3747)
知识库又不能操作模型,怎么可能影响 ollama 系统? 问答拆分不是操作模型了吗
😂调用模型而已,怎么能操作模型状态 是的,我也觉得奇怪,但是排查了几次,问题具体说是这样的,就是如果知识库选择了很多问答拆分,发现显卡会运转一阵子(5~10分钟)就停止了,就是只索引了一部分,检查了显卡没啥问题,于是我一开始怀疑是ollama本身模型是5分钟内不活动的话就自动销毁,有可能是我一下子给的文档太多,索引或者读取需要时间或者数据库速度慢可能间隔超过了5分钟销毁了,于是我就设置了forever,但是还是出现了这个问题,然后看oneapi的日志,发现会有model ratio not found 这些,但是模型是存在的,有时候重启一下oneapi就又可以,但是也是拆分5~10分钟又卡住了,就是问答拆分总是无法一次性完成,但是dify的话就没这个问题,显卡一直都是跑着直到拆分结束
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>
model ratio not found这个不影响使用,你用哪个版本的oneapi,更换0.6.7试试,或者通过fastgpt直接调用ollama的openai接口,绕过oneapi
ollama的openai接口
好的,请教ollama的openai接口这个怎么调用呀,感谢!
换到ollama的openai接口了,但是发现久一点后,fastgpt登录不上,需要重启才行