模型流响应为空,请检查模型流输出是否正常
例行检查
- [x] 我已确认目前没有类似 issue
- [x] 我已完整查看过项目 README,以及项目文档
- [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
- [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
- [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
你的版本
- [ ] 公有云版本
- [x] 私有部署版本, 具体版本号: 4.8.20-fix2
问题描述, 日志截图,配置文件等 通过oneapi的大模型无法使用工具,报错"模型流响应为空,请检查模型流输出是否正常", 如果配置的模型是直接连的服务则无此问题。
复现步骤
预期结果
相关截图
同样的版本,同样的问题
如错误提示,模型没响应。qwen 系列,应该直接使用 openai 渠道,而不是通义千问。
如错误提示,模型没响应。qwen 系列,应该直接使用 openai 渠道,而不是通义千问。
阿里通义千问和 openai 渠道都试过了,都不行。
如错误提示,模型没响应。qwen 系列,应该直接使用 openai 渠道,而不是通义千问。
阿里通义千问和 openai 渠道都试过了,都不行。
那不懂了,你按文档自己测试下吧,我们这都正常用。
同样的问题,VLLM0.7.2版本启动的模型,关闭流输出可以返回内容,开启则返回为空,用Postman测试模型启动没问题,流和非流都正常
解决了,跳过oneapi转发,直接用fastgpt的新增模型进行添加。应该是oneapi版本和推理引擎不匹配的原因。
解决了,跳过oneapi转发,直接用fastgpt的新增模型进行添加。应该是oneapi版本和推理引擎不匹配的原因。
所以没事加个oenapi这是干啥呢,,想不明白
一样的问题,希望官方能处理一下哦。 我们都是从老版本的fastgpt一步一步升级走过来的,很多模型都在one-api里管理,除了fastgpt还有别的应用通过one-api调用模型。