glm-4v的模型文件中的ChatGLMModel类中1033行的inputs_embeds覆盖问题

[Xiaojin-Hua]

System Info / 系統信息

和官方一样

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• [X] The official example scripts / 官方的示例脚本
• [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

在glm-4v的模型文件中的ChatGLMModel类中1033行的inputs_embeds = self.embedding(input_ids)会覆盖911行的 inputs_embeds = torch.stack(new_input_embeds, dim=0)或者1003行的inputs_embeds = self.embedding(input_ids)。从而导致在训练中图像信息丢失，希望官方给出相应的解释！！！！

Expected behavior / 期待表现

不应该有这一行inputs_embeds覆盖，否则多模态输入时图像信息就会丢失