zai-org
vllm支持-模型输出为空
请问是否有使用vllm启动cogagent的详细步骤，我在运行[vllm_openai_server.py]文件时报错：ValueError: ChatGLMForConditionalGeneration has no vLLM implementation and the Transformers implementation is not compatible with vLLM. 我的环境是： 华为npu：910B python3.10.12 vllm0.7.3+empty torch2.5.1 transformers4.50.1
根据这篇文档https://vllm.hyper.ai/docs/models/adding-a-new-model （1）将重写forward方法的模型放到项目路径下 （2）根据第6步在启动模型的文件vllm_openai_server.py中添加： `from vllm import ModelRegistry
from chatglmcogagent import ChatGLMForCausalLM
ModelRegistry.register_model("ChatGLMForCausalLM", ChatGLMForCausalLM)` （3）将cogagent-9b-20241220模型文件夹下的config.json文件中的相关模型名改为 ChatGLMForCausalLM （4）由于vllm版本是0.7.3，会出现MoudleNotFoundError报错，根据0.7.2版本的源码也进行了修改（有条件的可以安装vllm0.7.2版本）
问题：模型启动后，输入指令+图片，输出为空
我不一定能帮你解决问题，建议不使用vllm。你这个操作是没有用的
根据这篇文档https://vllm.hyper.ai/docs/models/adding-a-new-model （1）将重写forward方法的模型放到项目路径下 （2）根据第6步在启动模型的文件vllm_openai_server.py中添加： `from vllm import ModelRegistry
from chatglmcogagent import ChatGLMForCausalLM
ModelRegistry.register_model("ChatGLMForCausalLM", ChatGLMForCausalLM)` （3）将cogagent-9b-20241220模型文件夹下的config.json文件中的相关模型名改为 ChatGLMForCausalLM （4）由于vllm版本是0.7.3，会出现MoudleNotFoundError报错，根据0.7.2版本的源码也进行了修改（有条件的可以安装vllm0.7.2版本）
问题：模型启动后，输入指令+图片，输出为空
我不一定能帮你解决问题，建议不使用vllm。你这个操作是没有用的
根据这篇文档https://vllm.hyper.ai/docs/models/adding-a-new-model （1）将重写forward方法的模型放到项目路径下 （2）根据第6步在启动模型的文件vllm_openai_server.py中添加：
from vllm import ModelRegistry from chatglmcogagent import ChatGLMForCausalLM ModelRegistry.register_model("ChatGLMForCausalLM", ChatGLMForCausalLM)（3）将cogagent-9b-20241220模型文件夹下的config.json文件中的相关模型名改为 ChatGLMForCausalLM （4）由于vllm版本是0.7.3，会出现MoudleNotFoundError报错，根据0.7.2版本的源码也进行了修改（有条件的可以安装vllm0.7.2版本） 问题：模型启动后，输入指令+图片，输出为空
好吧，谢谢