one-api
one-api copied to clipboard
Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字
例行检查
- [x] 我已确认目前没有类似 issue
- [x] 我已确认我已升级到最新版本
- [x] 我已完整查看过项目 README,尤其是常见问题部分
- [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
- [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
问题描述 Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字,而gpt-35-turbo却不会出现这个问题,测试了几次一直都会复现,docker部署的,日志没看到有报错
复现步骤 Azure Openai的gpt-4模型的回复content会出现无法回复完全,基本上只回复开头的几个字,而gpt-35-turbo却不会出现这个问题
预期结果 正常回复
相关截图
这是4
这是3.5
如果没有的话,请删除此节。
我也遇到了这个问题,我认为有可能是在部署gpt-4模型时过高的TPM导致的。使用默认的TPM不会出现这个问题。
更正:经过测试,不是TPM的问题,貌似是模型的问题,gpt-4-vision-preview会出现这种问题,而更换到gpt-4-1106就不会出现这种问题。
更正:经过测试,不是TPM的问题,貌似是模型的问题,gpt-4-vision-preview会出现这种问题,而更换到gpt-4-1106就不会出现这种问题。
gpt-4-1106有用过response_format={“type”: “json_object”}吗?好像耗时会长很多。
一样的问题
这个问题解决了没
并且GPT4 不支持 stream