纯python环境部署，如何把OpenAI API换成千问14B的，通过url?

[loong1118]

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

• [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

• [X] 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

我改了base.sh里的配置，如图所示：

然后 bashrun_for_openai_api_with_cpu_in_Linux_or_WSL.sh 里面也修改了

url也是在本地调用服务器上部署的千问14B，langchain和openai_api都测试了，可以正常调用，如图所示

期望行为 | Expected Behavior

但是在前端页面上调用这个API有问题，请问应该如何修改

运行环境 | Environment

- OS:
- NVIDIA Driver:
- CUDA:
- docker:
- docker-compose:
- NVIDIA GPU:
- NVIDIA GPU Memory:

QAnything日志 | QAnything logs

No response

复现方法 | Steps To Reproduce

No response

备注 | Anything else?

No response

[fengcunhan]

修改一下 llm_for_openai_api.py 的代码，在 model in 里面把千问14B的 model 名称加进去

[cakat]

你好，求修改方法++++++

[hosea7456]

同问，如何修改，实现通过url调用服务器部署的模型