Dr. Artificial曾小健
Dr. Artificial曾小健
我也有这个问题
我也差不多，输出0 或者无意义的字符，一直输出。无法停止
> > > rank32 学习率1e-3 epoch20~30可以解决问题 > > > > > > 借了大佬的参数，感觉还是不行，特别是回答数据比较短的时候，特别明显啊。各位大佬可有建议？ > > 更新代码版本了吗？ 您是说更新 ChatGLM2 的官方代码吗
> > rank32 学习率1e-3 epoch20~30可以解决问题 > > 借了大佬的参数，感觉还是不行，特别是回答数据比较短的时候，特别明显啊。各位大佬可有建议？ 现在解决了吗
这个问题我也有，没有人解决吗
我也不断出现重复词。直到把输出占满。无法终止。
> > > > > > > > > 更新了，这个改掉了。   但是，好奇怪，pad给的是unk，感觉预训练阶段没有pad这个token？ > > 我自己在special token里面加上了pad，微调之后不会出现停不下来的情况，但是训练时loss一个epoch之后会上升  代码里面attention mask和position id的产生逻辑和glm1不一样了，我改了一下可能还是有点问题 这个具体怎么操作啊。怎么在special token里面加上pad
--quantization_bit 4 据说量化能解决此问题。但加上之后，不加 都还是有循环输出的问题。
> 这个应该是bos token和eos token的问题，我改了一下就不会停不下来 最新版的模型好像也修改了，可以试试 请教一下改成什么鸭