GLM-4
GLM-4 copied to clipboard
THUDM
GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型
### System Info / 系統信息 python=3.9 CUDA Version: 12.4 GPU：4090 24G 新建的干净环境使用 pip install -r requirements.txt 安装的环境。安装版本与 requirements 相同 ### Who can help? / 谁可以帮助到您？ @wwewwt @cenyk1230 ### Information /...
GLM-4v-9b运行报错：TypeError: ChatGLM4Tokenizer._pad() got an unexpected keyword argument 'padding_side'
### System Info / 系統信息 所有硬件条件正确，环境正确。因为所有代码、环境、设备等都未改动，在一个月前能够是能够正常运行的。而现在无法正常运行，不知道问题出在哪里。 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [ ] My...
### Feature request / 功能建议 当前官方文档提供了使用 Transformers 与 GLM-4-9B 进行对话的代码，但缺少如何使用 Transformers 启动服务端以及实现客户端请求的具体代码或指南。我希望能够补充以下内容： - 如何通过 Transformers 库启动 GLM-4-9B 服务端，并能够接受客户端请求进行推理。 - 如何从客户端发送请求到部署好的 GLM-4-9B 服务端，并获取模型的推理结果。 - （如果可以）提供基于 REST API 或 WebSocket 的交互方式示例，以便我集成到现有的应用中。 希望官方能够提供此类代码或文档，以便开发者使用...
### Feature request / 功能建议 GLM-4使用的是Pre-Norm还是Deepnorm（Post-Norm）？ ### Motivation / 动机 [Techinical Report](https://arxiv.org/abs/2406.12793)中的说法，应该是沿用了GLM-130b的Deepnorm。 但是[huggingface](https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/config.json)给出的配置文件中`apply_residual_connection_post_layernorm=False`，应该是没有使用Post-Norm；但是这个文件中还有一个`post_layer_norm=True`，这个参数只在decoder最后使用layernorm。 所以到底哪个是对的啊，应不应该用啊？ ### Your contribution / 您的贡献 见上
Process finished with exit code -1073741819 (0xC0000005) 启动代码加载模型时报错，请问是为啥啊？
请教关于算法原理
请问GLM 4v是如何做到高分辨图像适配输入的？与CogVLM的区别？  请问图中High-Resolution Cross-Module在项目代码哪个位置可以体现出来 谢谢！
最近在基于GLM-4的智能体多轮对话任务训练过程中发现finetune.py脚本中的两个bug： 1. finetune_demo/finetune.py中： process_batch函数中，以下代码部分存在漏洞： for message in conv: message = process_message(message) loss_mask_val = False if message['role'] in ('system', 'user', 'observation') else True new_input_ids = tokenizer.apply_chat_template([message], tokenize=True, return_dict=False)[2:] 以及和process_batch_eval函数中以下代码部分存在漏洞： for message...
### System Info / 系統信息 11 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X] The official example scripts / 官方的示例脚本 - [ ] My...
### System Info / 系統信息 cuda 12.2 transformers 4.40.0 python 3.10.13 Ubuntu 20.04.6 LTS 4090 单卡 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [X]...
### System Info / 系統信息 操作系统=ubuntu20.04 显卡=4 x v100 model=glm-9b-chat python=3.11.8 llama-factory=0.8.3 transformers=4.43.3 vllm=0.5.3.post1 ### Who can help? / 谁可以帮助到您？ _No response_ ### Information / 问题信息 - [ ] The...
