GLM-4

GLM-4 copied to clipboard

关于gpu内存

1

### System Info / 系統信息 gpu内存：18.8（gpu专用内存11） ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [ ] My...

Katieyyy

使用openai api调用lora微调后的模型出错

1

### System Info / 系統信息 CUDA Version: 12.2 Transformers：4.45.1 Python：3.10.12 操作系统：ubuntu vllm：0.6.2 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts...

2437528020

GLM4-9B-Chat，对本地模型进行请求时是否可以设置模型的system或role？如果可以，应该怎么实现？还是说，只能在user的prompt里面进行限制呢？即类似下图：

WinstonCHEN1

请教一下，glm-4v会支持vllm推理吗？

2

### Feature request / 功能建议 glm-4v使用vllm推理。 ### Motivation / 动机 目前想尝试服务器部署，使用多客户端对glm4v的api server发起请求，但是用Transformers推理返回结果太慢。看到glm4-chat用vllm推理的速度快了不少，因此希望4v也能支持vllm推理。 ### Your contribution / 您的贡献 *

Jimmy-L99

Add GLM-4v-9B model support for vllm framework, create vllm_cli_vision_demo.py and fix readme.md.

sixsixcoder

用给的示示例数据tools的数据微调，后面自动多了一个Tools:None，数据处理报异常

2

### System Info / 系統信息 python3.12,transformer 43;gpu 2080Ti22g*2 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [...

mudeguo

GLM4V-9B微调完成后，如何调用模型，输入一张图像进行对话

4

### System Info / 系統信息 GLM4V-9B微调完成后，使用以下命令 CUDA_VISIBLE_DEVICES=0 swift export \ --ckpt_dir output/glm4v-9b-chat/vx-xxx/checkpoint-xxx \ --merge_lora true CUDA_VISIBLE_DEVICES=0 swift infer \ --ckpt_dir output/glm4v-9b-chat/vx-xxx/checkpoint-xxx-merged \ --load_dataset_config true 得到了一个checkpoint-xxx-merged文件夹。 文件夹中内容如图： 如何使用这个文件夹中的模型？ ### Who can...

tw-repository

2. 不用放，因为没有再分发 _Originally posted by @zRzRzRzRzRzRzR in https://github.com/THUDM/GLM-4/issues/219#issuecomment-2181906514_ 我关注到一个已经close的问题中有关于许可协议的回答。开发者回复【部署模型并基于模型对外提供服务】时，不需要附带协议。 关于这一点回复我有一个疑问，既然商业许可证中的要求是“使用者使用大模型和大模型生成内容时须注明大模型的来源并附上此模型商用授权协议（或链接）”，那么为什么只有在【再分发】的情况下才需要附上授权协议呢，难道不是一旦【使用】，就都应当附上授权协议了吗？ 提问者提出的【部署模型并基于模型对外提供服务】的情形，我认为就符合【使用】的条件了呀？ 望解答。谢谢！

fangcun12138

### System Info / 系統信息 最新版LoRA微调，除了batch其他参数默认，evaluation的batch_size设置1，训练batch_size也是1，训练哪怕是2以上都正常，但是evaluation时就会内存分页大小问题。是否需要train->GC->eval->train->...? 2080Ti 22G，实在是没有足够的显存可以train的基础上再加入evaluation 报错（故意调成10来eval，复现报错）： {'loss': 2.4602, 'grad_norm': 6.9103498458862305, 'learning_rate': 0.0004991666666666666, 'epoch': 0.0} 0%|▎ | 10/6000 [01:03

FloatFrank

文生文微调时候是否有数据集数量限制？

1

### System Info / 系統信息 absl-py 2.0.0 accelerate 0.33.0 addict 2.4.0 aiofiles 23.2.1 aiohttp 3.9.5 aiosignal 1.3.1 aliyun-python-sdk-core 2.15.1 aliyun-python-sdk-kms 2.16.3 altair 5.3.0 annotated-types 0.7.0 anyio 3.7.1 argon2-cffi 23.1.0 argon2-cffi-bindings...

want-well