FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

模型流响应为空,请检查模型流输出是否正常

Open jqhr opened this issue 10 months ago • 6 comments

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已完整查看过项目 README,以及项目文档
  • [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • [ ] 公有云版本
  • [x] 私有部署版本, 具体版本号: 4.8.20-fix2

问题描述, 日志截图,配置文件等 通过oneapi的大模型无法使用工具,报错"模型流响应为空,请检查模型流输出是否正常", 如果配置的模型是直接连的服务则无此问题。

复现步骤

预期结果

相关截图

Image

jqhr avatar Feb 07 '25 07:02 jqhr

同样的版本,同样的问题

xufengnian avatar Feb 07 '25 08:02 xufengnian

如错误提示,模型没响应。qwen 系列,应该直接使用 openai 渠道,而不是通义千问。

c121914yu avatar Feb 08 '25 02:02 c121914yu

如错误提示,模型没响应。qwen 系列,应该直接使用 openai 渠道,而不是通义千问。

阿里通义千问和 openai 渠道都试过了,都不行。

jqhr avatar Feb 08 '25 02:02 jqhr

如错误提示,模型没响应。qwen 系列,应该直接使用 openai 渠道,而不是通义千问。

阿里通义千问和 openai 渠道都试过了,都不行。

那不懂了,你按文档自己测试下吧,我们这都正常用。

c121914yu avatar Feb 08 '25 02:02 c121914yu

同样的问题,VLLM0.7.2版本启动的模型,关闭流输出可以返回内容,开启则返回为空,用Postman测试模型启动没问题,流和非流都正常

stevensy123 avatar Feb 13 '25 04:02 stevensy123

解决了,跳过oneapi转发,直接用fastgpt的新增模型进行添加。应该是oneapi版本和推理引擎不匹配的原因。

stevensy123 avatar Feb 13 '25 07:02 stevensy123

解决了,跳过oneapi转发,直接用fastgpt的新增模型进行添加。应该是oneapi版本和推理引擎不匹配的原因。

所以没事加个oenapi这是干啥呢,,想不明白

MilkTeaNo7 avatar Mar 07 '25 07:03 MilkTeaNo7

一样的问题,希望官方能处理一下哦。 我们都是从老版本的fastgpt一步一步升级走过来的,很多模型都在one-api里管理,除了fastgpt还有别的应用通过one-api调用模型。

zhanghuanhuanlive avatar Mar 15 '25 05:03 zhanghuanhuanlive