ChatGLM3
ChatGLM3 copied to clipboard
THUDM
这些问题不要在Issue提出，在Discussion中提出
以下问题不要在issue中提出，因为：
- 这个问题是模型的上的功能缺失或者bad case
- 官方暂时不能解决这个问题
如果你遇到以下问题，请你在Discussion中提出具体的 bad case，这些问题在本版本模型难以解决，更多的bad case将能帮助我们优化出更好的模型。
#393 模型运行的 CUDA error: device-side assert相关问题 #212 工具调用混乱，一些场景被训练为调用工具 #335 多轮对话无法实现正常工具调用 #306 在持续进行对话时候GPU 内存占用飙升 #310 多卡推理不正常,乱码相关问题 #225 中英文混合输出，输出会带英语单词
以下问题，如果非官方代码和官方硬件上的报错，请也在Discussion中提出 #251 Mac环境下的配置和环境准备 #253 微调的各种问题
上述两大类问题请不要 在 Issue提出，否则可能会不被回复或者 直接关闭。 感谢理解
几个问题想请教一下， 第一：为什么训练出来的模型是问答式的，是因为数据量太少吗，格式和官方给的测试数据集格式一样都是类型#描述类型#描述，训练使用的是./scripts/finetune_pt.sh 参数只改了sourse和target还有step三个数值。 第二：为什么训练完的模型，使用“cd ../composite_demo MODEL_PATH="THUDM/chatglm3-6b" PT_PATH="path to p-tuning checkpoint" streamlit run main.py”启动UI界面,使用API启动，最终运行的还是原来的chatglm3-6b，不是微调后的模型 第三：数据集的格式“类型#描述类型#描述”，后面只描述一个或多个描述词或者类型词，可以得到回复吗，是经过ChatGLM3-6B思考后的回复还是数据集的内容完全一模一样的回复还是会参考数据集答案的格式来回复。。。。
关于懒人包的使用，b站视频来的，抱歉因为技术不行不知道哪里出了问题
可能是权限问题，在C盘下找到Users找到(你的用户名)，右键，选中属性，找到安全选项卡，选择自己的用户，就像这样(看下面)
找到编辑，吧完全控制的勾搭上
重新执行
你好，我在用lora微调过程中，一直卡在 Total optimization steps = 3,000 Number of trainable parameters = 1,949,696 0% 0/3000 [00:00<?, ?it/s] 这个地方不动了是什么原因呀，请教各位大佬指教
你好，在lora微调过程中出现了RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'，这个问题，我提升了pytorch的版本之后，就一直卡在 otal optimization steps = 3,000 Number of trainable parameters = 1,949,696 0% 0/3000 [00:00<?, ?it/s] 这个地方不动了是什么原因呀，请教各位大佬指教
这个错误通常发生在使用PyTorch框架进行深度学习模型训练时，特别是在尝试使用半精度浮点数（‘Half’，即16位浮点数）进行矩阵乘加操作（addmm）时。半精度浮点数是一种用于加速计算和减少内存占用的技术，但它并不支持所有的操作。 为了解决这个问题，你可以考虑以下几种方法： 使用全精度浮点数（‘Float’）： 将模型和数据类型转换为全精度浮点数，通常是32位浮点数（torch.float32 或 torch.FloatTensor）。这样可以确保所有的操作都是支持的，但是会增加内存使用和计算时间。
例如，将一个张量从半精度转换为全精度
tensor = tensor.to(dtype=torch.float32)
如果出現以下問題要如何解決，我是使用官方我代碼和DATASET試行
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn 0%| | 0/3000 [00:01<?, ?it/s]
你好，在lora微调过程中出现了RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'，这个问题，我提升了pytorch的版本之后，就一直卡在 otal optimization steps = 3,000 Number of trainable parameters = 1,949,696 0% 0/3000 [00:00<?, ?it/s] 这个地方不动了是什么原因呀，请教各位大佬指教
您好，请问问题解决了吗，我也遇到了相同的问题
请问各位大佬，uvicorn实现api_server时，为什么workers大于1的时候会报错：模型未定义。难道不能实现多进程吗，该怎么解决这个问题？
用main分支代码做finetune, 用inference_hf代码做预测在解析responce中的output时会报错？而且finetune保存的模型，无法直接用composite_demo的形式直接调用？请问如何解决这两个问题？
请问下chat-glm3-6B的模型参数：Hidden Size、Num Layers、Num Attention Heads、Vocab Size是多少呀？没有在社区中看到有公布这个信息
第一次尝试 github 中微调示例，未执行成功，报以下错误，请问如何解决？：
「执行命令」： CUDA_VISIBLE_DEVICES=0 NCCL_P2P_DISABLE="1" NCCL_IB_DISABLE="1" python finetune_hf.py data/AdvertiseGen_fix /home/notebook/toG_RMM/MHRED/chatglm3-6b configs/lora.yaml
「输出信息」： A module that was compiled using NumPy 1.x cannot be run in NumPy 2.0.0 as it may crash. To support both 1.x and 2.x versions of NumPy, modules must be compiled with NumPy 2.0. Some module may need to rebuild instead e.g. with 'pybind11>=2.12'.
If you are a user of the module, the easiest solution will be to downgrade to 'numpy<2' or try to upgrade the affected module. We expect that some modules will need time to support NumPy 2.
Traceback (most recent call last): File "/opt/notebook/toG_RMM/MHRED/ChatGLM3-main/finetune_demo/finetune_hf.py", line 11, in
File "/home/conda/envs/python3.10.6/lib/python3.10/site-packages/torch/nn/modules/transformer.py", line 20, in
