glm4回复一段时间后会出现乱码

[YanyuanAIMR]

System Info / 系統信息

ubuntu20.04 华为mindie环境下

Who can help? / 谁可以帮助到您？

@

Information / 问题信息

• [ ] The official example scripts / 官方的示例脚本
• [X] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

背景描述： 为了兼容华为300I Duo卡，将glm4的代码魔改成了chatglm3（因为现在300I Duo卡不支持glm4，然后将部分glm3-6b的tokenization_chatglm.py代码添加到了glm4的上面），然后开始大模型回答没有问题，但是经过大概10轮的对话之后，生成的结果全是乱码，后面就一直是乱码的情况。 使用修改后的glm4权重下的代码tokenization_chatglm.py，代码如下面的回复内容

然后运行glm4会出现上面说的问题。

Expected behavior / 期待表现

找到问题原因并解决乱码的问题