[BUG] 用完全兼容OpenAI API的大模型作为后端运行，提问的时候会出错

[iot-club]

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

• [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

• [X] 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

我尝试直接用OpenAI的API来运行，没有问题， 然而换成了一个完全兼容OpenAI API的大模型来运行，就会报错（Linux环境和windows环境都会报错）。 （尝试过把这个大模型放在其他平台：如ChatGPT-Next-Web，没有兼容问题）

期望行为 | Expected Behavior

帮忙解答一下技术上是否有强制使用OPENAI的限制？

运行环境 | Environment

- OS: WIN11
- NVIDIA Driver: 551.61
- CUDA: 12.4
- docker: 25.0.3
- docker-compose: v2.24.6-desktop.1
- NVIDIA GPU: RXT 2060（or RTX 4080）
- NVIDIA GPU Memory: 6GB

QAnything日志 | QAnything logs

No response

复现方法 | Steps To Reproduce

No response

备注 | Anything else?

No response