repetition 问题记录

[fclearner]

大模型重复生成问题

推理层面优化： repetition penalty

训练层面优化: eos_token: https://github.com/QwenLM/Qwen2/issues/779#issuecomment-2229890369 no_speech token: https://github.com/X-LANCE/SLAM-LLM/issues/113 模型帧率，提高帧率可以改善短音频复读机问题 LLM的文本分布 引入ctc结果：https://arxiv.org/abs/2408.09491

从NLP的角度： https://zhuanlan.zhihu.com/p/672261242?utm_psn=1807773013061558274

训练数据中短文本或重复文本较多，即数据多样性不足时会触发大模型重复生成问题 模型参数量越小越容易触发大模型重复生成问题

欢迎补充！