微调chatglm2后进行预测出现大量复读现象

[CCzzzzzzz]

如图，同等参数微调下的预测结果，上图为chatglm2，下图为chatglm

[hiyouga]

目前我还不知道该问题的原因是什么，请关注后续更新。

[fslongjin]

增大rank可以解决

[CCzzzzzzz]

增大rank可以解决

我将rank增加到32仍然有问题。还是存在大量复读

[SolarKnight1]

我也这样了，cy

[jtao024]

确实变成复读机了...而且在复读机的时候感觉推理的速度变慢了

[fslongjin]

rank32 学习率1e-3 epoch20~30可以解决问题

[pdwfree]

rank32 学习率1e-3 epoch20~30可以解决问题

借了大佬的参数，感觉还是不行，特别是回答数据比较短的时候，特别明显啊。各位大佬可有建议？

[hiyouga]

rank32 学习率1e-3 epoch20~30可以解决问题

借了大佬的参数，感觉还是不行，特别是回答数据比较短的时候，特别明显啊。各位大佬可有建议？

更新代码版本了吗？

[CCzzzzzzz]

rank32 学习率1e-3 epoch20~30可以解决问题

借了大佬的参数，感觉还是不行，特别是回答数据比较短的时候，特别明显啊。各位大佬可有建议？

更新代码版本了吗？

更新代码及模型后，再次微调我这边已经几乎没有复读问题（存在少量，注意超参的选择），大家更新模型和代码后试试。

[ArtificialZeng]

rank32 学习率1e-3 epoch20~30可以解决问题

借了大佬的参数，感觉还是不行，特别是回答数据比较短的时候，特别明显啊。各位大佬可有建议？

更新代码版本了吗？

您是说更新 ChatGLM2 的官方代码吗

[ArtificialZeng]

rank32 学习率1e-3 epoch20~30可以解决问题

借了大佬的参数，感觉还是不行，特别是回答数据比较短的时候，特别明显啊。各位大佬可有建议？

现在解决了吗