重排模型有时候会在ai对话结束之后才调用

[fzcccc]

例行检查

• [x] 我已确认目前没有类似 issue
• [x] 我已完整查看过项目 README，以及项目文档
• [x] 我使用了自己的 key，并确认我的 key 是可正常使用的
• [x] 我理解并愿意跟进此 issue，协助测试和提供反馈
• [x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

• [ ] 公有云版本
• [x] 私有部署版本, 具体版本号: 4.8.10

问题描述, 日志截图 我按照官网教程用docker部署了bge-rerank-v2-m3，有时候能够正常调用，有时候重排模型会慢半拍，在ai对话结束之后才被调用，导致重排失败 上图的重排模型日志中，前三个ok都是正常调用了重排模型，第四个ok是在对话结束了之后，大概过了几秒才调用，导致重排失败，然后我闲置了5分钟，再次对话，第五个ok又能正常重排

[lijiajun1997]

是不是rerank没有释放显存导致超时了

[fzcccc]

是不是rerank没有释放显存导致超时了 大佬，显存是自动释放的吗，还有超时的时间可以延长吗

[c121914yu]

是否还有？目前没见到其他人遇到过。

[zhangdalao]

Collaborator

我也遇到了，有时候会知识库搜索，返回ai结果后，才调用rerank接口

[goactiongo]

咋发现的？

---原始邮件--- 发件人: @.> 发送时间: 2024年11月6日(周三) 上午10:03 收件人: @.>; 抄送: @.@.>; 主题: Re: [labring/FastGPT] 重排模型有时候会在ai对话结束之后才调用 (Issue #2766)

Collaborator

我也遇到了，有时候会知识库搜索，返回ai结果后，才调用rerank接口

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>