llama3 8B中文微调模型Llama3-Chinese-8B-Instruct 存在对生成的答案一直重复的问题

[Ryan-0805]

提问任何问题，都会一直重复自己的答案，直到达到模型的max_token；

[TimchaStudio]

遇到同样的bug

[Zhouxinyu668]

我也遇到了同样的问题

[Zhouxinyu668]

作者不考虑回应一下吗？

[hito0512]

@TimchaStudio 这个是用哪个框架部署的？

[TimchaStudio]

@hito0512 chat.oaiui.com

这个问题还没有解决

[ZhichengQian1]

我尝试了一下，也存在这个问题

[nbet]

me too too~~

[3h2b]

大语言生成回答时一般会先生成一个开始符号类似于《start》然后输出正文，紧接着在结束时输出一个类似于《end》的特殊字符作为判断此句话结束。在这个具体问题里结束符用的可能是《\s》。出现这个问题可能是模型在训练中文语料库时更换了结束字符导致原来判断生成结束的符号失去作用。大伙可以自行添加判断生成结束的标识符可以解决这个问题。

[chhaig]

调整 temperature的大小，设置小于0.3以下。