sixgod comments

Results 36 comments of


                                            sixgod

vllm支持-模型输出为空

我不一定能帮你解决问题，建议不使用vllm。你这个操作是没有用的 > 根据这篇文档https://vllm.hyper.ai/docs/models/adding-a-new-model （1）将重写forward方法的模型放到项目路径下（2）根据第6步在启动模型的文件vllm_openai_server.py中添加： `from vllm import ModelRegistry > > from chatglmcogagent import ChatGLMForCausalLM > > ModelRegistry.register_model("ChatGLMForCausalLM", ChatGLMForCausalLM)` （3）将cogagent-9b-20241220模型文件夹下的config.json文件中的相关模型名改为 ChatGLMForCausalLM （4）由于vllm版本是0.7.3，会出现MoudleNotFoundError报错，根据0.7.2版本的源码也进行了修改（有条件的可以安装vllm0.7.2版本） > > 问题：模型启动后，输入指令+图片，输出为空

vllm支持-模型输出为空

only transformers肯定能跑，你试了吗？

vllm支持-模型输出为空

按需修改推理代码就可以了

RuntimeError: probability tensor contains either inf, nan or element < 0

请删除trans_cli_demo.py中的do_sample=True和temperature试一下

Inquiry on vLLM Inference for cogagent Model Compared to glm-4v-9b

Hello, thank you for your attention to the work of CogAgent's vLLM. Regarding the differences between `modeling_chatglm.py` of [THUDM/cogagent-9b-20241220](https://huggingface.co/THUDM/cogagent-9b-20241220/blob/main/modeling_chatglm.py) and [GLM-4v-9b](https://huggingface.co/THUDM/glm-4v-9b/blob/main/modeling_chatglm.py), after auditing the open-source code of both models, I...

TYPE Action Execution Logic Optimization

Because cogagent simulates human interface operations, it needs to locate the input box first before calling `TYPE` for input, so it needs to be executed step by step. But if...

GLM-Z1-Rumination-32B-0414外界搜索接口的问题

这个官方目前只开源了模型，还没有对工程实现开源，比如配置搜索引擎接口，需要再等一等

GLM-Z1-Rumination-32B-0414外界搜索接口的问题

针对该模型，官方将不会开源新的工程实现，配置搜索引擎等需要开发者自行实现。

SmartPhone App

模型支持手机的操作，但是本开源仓库仅提供linux、windos、mac系统的agent，开发者可以自行二次开发

GLM-4v-9b运行报错：TypeError: ChatGLM4Tokenizer._pad() got an unexpected keyword argument 'padding_side'

> 参考https://huggingface.co/THUDM/LongWriter-glm4-9b/commit/778b5712634889f5123d6c463ca383bc6dd5c621 在def _pad这里修改即可解决。感谢您的回复，该问题已经在最新的huggingface模型文件中修复