GLM-4

GLM-4 copied to clipboard

Jetson AGX Orin上推理glm4v-9b，无法停止

2

### System Info / 系統信息 cuda版本：12.2 transformers版本：4.44.0 python版本：3.10 pytorch：2.4 操作系统：Jetpack 6.0 (Ubuntu 22.04) 硬件信息：Jetson AGX Orin 64G 模型下载：魔搭上下载 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息...

mltloveyy

Agent流式输出停止符问题

3

### System Info / 系統信息 调用方式：langchain_openai 模型：zhipuAI官方API的glm4 ### Who can help? / 谁可以帮助到您？ @wwewwt @Sengxian @davidlvxin @codazzy ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 -...

HuMian10

执行微调文件finetune.py显示TypeError: FinetuningConfig.__init__() got an unexpected keyword argument 'freezeV'

1

### System Info / 系統信息 环境cuda 12.1 py3.10 显卡3090 D  ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts /...

bird2580

为啥system消息会传两次？

5

我在看basic_demo里面的openai_server.py 里面有一个process_message的函数 他里面的判断都是判断tools_choices是否是"none"，然后我调用openai_request那个文件，他传的都是None 然后在最后一个处理前，msg已经有system和user了，然后最后还有一个判断，insert了system到最开始，就导致实际处理有两个system，我总感觉不对啊 system传一个不就行了吗？

ciaoyizhen

解决finetune.py在加载配置文件时的错误

1

上一个[commit](https://github.com/THUDM/GLM-4/commit/1c2676415c213f534161da6ecc1d4b2de5be8caf)在配置文件添加了freezeV选项，但在finetune.py中没有支持。 暂时添加一句占位吧，虽然这个选项对纯文本微调没啥用

huolongguo1O

glm4回复一段时间后会出现乱码

8

### System Info / 系統信息 ubuntu20.04 华为mindie环境下 ### Who can help? / 谁可以帮助到您？ @ ### Information / 问题信息 - [ ] The official example scripts / 官方的示例脚本 - [X] My...

YanyuanAIMR

glm-4v的模型文件中的ChatGLMModel类中1033行的inputs_embeds覆盖问题

1

### System Info / 系統信息 和官方一样 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [ ] My...

Xiaojin-Hua

RuntimeError: probability tensor contains either inf, nan or element < 0

6

### System Info / 系統信息 cuda: 12.2（安装的pytorch是cuda-12.1的） transformers：4.44.0 python：3.10 OS：kylinV10 显卡是：NVIDIA A100-SXM4-40GB（隔壁有问是不是这个问题，所以一并列出：https://github.com/QwenLM/Qwen2-VL/issues/44 ） ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example...

RobinRush

GLM-4V-9B fine-tuning error

5

### System Info / 系統信息 Traceback (most recent call last): File "/home/sa/swift/swift/cli/sft.py", line 5, in sft_main() File "/home/sa/swift/swift/utils/run_utils.py", line 32, in x_main result = llm_x(args, **kwargs) File "/home/sa/swift/swift/llm/sft.py", line 417,...

tw-repository

### System Info / 系統信息 transformers==4.42.3 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [ ] The official example scripts / 官方的示例脚本 - [X] My...

UbeCc