WeKnora
WeKnora copied to clipboard
[Question]: chat_completion_stream生成答案的用了十二秒,服务器配置并不低,在其他平台调用Ollama下的同样模型时长并不高
问题类别
安装和部署
问题描述
chat_completion_stream生成答案的用了十二秒,服务器配置并不低,在其他平台调用Ollama下的同样模型时长并不高,需要怎样优化?
背景信息
No response
操作系统
乌班图
其他环境信息
No response
相关日志
已查找的资源
No response
确认事项
- [x] 我已经搜索了现有的 issues 和文档
- [x] 我已经提供了足够的信息来帮助理解问题
启动一个新Session的时候,会调用大模型生成Title,这会消耗一部分时间,可以看一下日志,应该是这里的耗时