AttributeError: 'Qwen2ForCausalLM' object has no attribute 'chat_stream'

[ruifengma]

用openai_api.py部署Qwen1.5-72B-Chat版本，Qwen-agent调用报错

[JianxinMa]

openai_api.py 目前只支持 qwen1，还没适配 qwen1.5。qwen1.5 我们目前建议参考 https://github.com/QwenLM/Qwen1.5?tab=readme-ov-file#deployment 部署 vllm 来获得 openai 兼容的接口。如果 vllm 部署遇到问题，可以提相关 issues，我们会争取尽量简化流程。

vllm更适合部署在服务器上，应对高吞吐的情况。如果您只是个人电脑本地使用，也可以考虑 ollama，它似乎也提供了 openai 兼容的接口，参见 https://ollama.com/blog/openai-compatibility

[xrenaissance]

openai_api.py 目前只支持 qwen1，还没适配 qwen1.5。qwen1.5 我们目前建议参考 https://github.com/QwenLM/Qwen1.5?tab=readme-ov-file#deployment 部署 vllm 来获得 openai 兼容的接口。如果 vllm 部署遇到问题，可以提相关 issues，我们会争取尽量简化流程。

vllm更适合部署在服务器上，应对高吞吐的情况。如果您只是个人电脑本地使用，也可以考虑 ollama，它似乎也提供了 openai 兼容的接口，参见 https://ollama.com/blog/openai-compatibility

我用的vllm 0.3 deploy的openai的api server，也是不支持，我用的是qwen1.5-14b-chat

[JianxinMa]

openai_api.py 目前只支持 qwen1，还没适配 qwen1.5。qwen1.5 我们目前建议参考 https://github.com/QwenLM/Qwen1.5?tab=readme-ov-file#deployment 部署 vllm 来获得 openai 兼容的接口。如果 vllm 部署遇到问题，可以提相关 issues，我们会争取尽量简化流程。 vllm更适合部署在服务器上，应对高吞吐的情况。如果您只是个人电脑本地使用，也可以考虑 ollama，它似乎也提供了 openai 兼容的接口，参见 https://ollama.com/blog/openai-compatibility

我用的vllm 0.3 deploy的openai的api server，也是不支持，我用的是qwen1.5-14b-chat

看起来是vllm的服务报错了，然后qwen-agent的error handling没做好，没把vllm服务的错误报出来。我们研究下。

[JianxinMa]

openai_api.py 目前只支持 qwen1，还没适配 qwen1.5。qwen1.5 我们目前建议参考 https://github.com/QwenLM/Qwen1.5?tab=readme-ov-file#deployment 部署 vllm 来获得 openai 兼容的接口。如果 vllm 部署遇到问题，可以提相关 issues，我们会争取尽量简化流程。 vllm更适合部署在服务器上，应对高吞吐的情况。如果您只是个人电脑本地使用，也可以考虑 ollama，它似乎也提供了 openai 兼容的接口，参见 https://ollama.com/blog/openai-compatibility

我用的vllm 0.3 deploy的openai的api server，也是不支持，我用的是qwen1.5-14b-chat

您好，经过排查，是部分oai api实现会输出 content=None 导致，我们已经更新了相关代码处理这个情况。可以拉取最新代码再次尝试下。