cosyvoice2训练问题

[zhusy09]

我训练了一个六个人的数据集，每个人有两三个小时的音频数据，在训练cosyvoice时，没啥问题。可是到了cosyvoice2，总共训练20轮，训练集倒是loss一直在降低，可是评估集却是先降低，而后的十几轮，都在逐渐升高，请问这是哪儿出错了么？都是按照案例来训练的啊。

[Zhoulilan1]

同样的问题，感谢哪位大神来解答下

[indiejoseph]

overfitting，訓練集多大？

[zhusy09]

20小时左右，这个是不建议训练llm麽，而是训练gan？

[Zhoulilan1]

应该不是过拟合，我13个小时的数据，是不是测试集的数据量太少了，用10分之1的数据做的测试，按理说也够了。

[indiejoseph]

评估集loss先降低后逐渐升高必定是过拟合，可以留意 grad norm 都必定一起上升。把 lr 調 1e-5 或以下，数据少就再調小。lr schdule 用 constant lr。

[Zhoulilan1]

搞不懂了，lr调到1e-6，训练集loss还没收敛，测试集已经上升了，多少数据合适呢，单人10多个小时不够吗？

[indiejoseph]

train/loss 降, train/grad_norm 升，cv/loss 升，是典型过拟合。cv/acc 13-14k step 時到了頂，當時大約 10 epochs 了，你拿那個checkpoint 看看，acc 0.2-0.3 是正常，不影響 inference 效果。

[Zhoulilan1]

恩，我试下再反馈

[gouqi666]

@Zhoulilan1 有反馈吗bro，想看下你训练参数

[gouqi666]

@indiejoseph 如果cv/acc 从前2个epoch就开始掉，是学习率太大了？ 现在是1e-5,50个epoch，希望大佬指导一下训练参数，epoch设置为多少合适？

[indiejoseph]

要知道学习率是否太大，要看训练時的 grad norm 是否穩定。