one-api icon indicating copy to clipboard operation
one-api copied to clipboard

Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字

Open mouxangithub opened this issue 1 year ago • 3 comments

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已确认我已升级到最新版本
  • [x] 我已完整查看过项目 README,尤其是常见问题部分
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

问题描述 Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字,而gpt-35-turbo却不会出现这个问题,测试了几次一直都会复现,docker部署的,日志没看到有报错

复现步骤 Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字,而gpt-35-turbo却不会出现这个问题

预期结果 正常回复

相关截图 这是4 62e95e7e05a1409d4c356b6b9d480a5

这是3.5 ba04d0273e61db0af1538d508434257

如果没有的话,请删除此节。

mouxangithub avatar Jan 18 '24 08:01 mouxangithub

我也遇到了这个问题,我认为有可能是在部署gpt-4模型时过高的TPM导致的。使用默认的TPM不会出现这个问题。

LaoW7 avatar Feb 02 '24 17:02 LaoW7

更正:经过测试,不是TPM的问题,貌似是模型的问题,gpt-4-vision-preview会出现这种问题,而更换到gpt-4-1106就不会出现这种问题。

LaoW7 avatar Feb 03 '24 04:02 LaoW7

更正:经过测试,不是TPM的问题,貌似是模型的问题,gpt-4-vision-preview会出现这种问题,而更换到gpt-4-1106就不会出现这种问题。

gpt-4-1106有用过response_format={“type”: “json_object”}吗?好像耗时会长很多。

NaMoCv avatar Feb 04 '24 01:02 NaMoCv

一样的问题

huelsgp27 avatar Feb 27 '24 09:02 huelsgp27

这个问题解决了没

并且GPT4 不支持 stream

jackfong66 avatar Mar 06 '24 11:03 jackfong66