app运行错误

[hj611]

System Info / 系統信息

在运行客户端的时候，出现报错： Error code: 404 - {'detail': 'Not Found'}，完整报错如下： return self._request( ~~~~~~~~~~~~~^ cast_to=cast_to, ^^^^^^^^^^^^^^^^ ...<3 lines>... retries_taken=retries_taken, ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ) ^ File "～/python3.13/site-packages/openai/_base_client.py", line 1064, in _request raise self._make_status_error_from_response(err.response) from None openai.NotFoundError: Error code: 404 - {'detail': 'Not Found'} ^CKeyboard interruption in main thread... closing server. 请问可能是哪里出了问题？谢谢！

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• [x] The official example scripts / 官方的示例脚本
• [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

Expected behavior / 期待表现

请问是否有可能的问题原因？

[zRzRzRzRzRzRzR]

需要看一下后台的报错。只有一个前端无法debug

[llmlearning-x]

客户端启动

服务器信息

服务器服务启动

第一次运行，报错信息1

重新运行，报错信息2

请教第二次报错

[zRzRzRzRzRzRzR]

你i应该是用了FP16吧，这个模型仅支持BF16，FP16会出现CUDA错误

[llmlearning-x]

你i应该是用了FP16吧，这个模型仅支持BF16，FP16会出现CUDA错误 嗯嗯，感谢回复！在部署确实改成 FP16 了，因为用的V100 的卡，不支持 BF16，意味着这个部署需要A100 或者 90 以上的显卡，能考虑将BF16 转化为 FP16 格式吗，可否提供一个实现思路？