GPT2-chitchat 大佬好，我用两张3090去使用你所提供的那个100w的数据集训练，可是很快loss稳定在3.0就不降低了

大佬好，我用两张3090去使用你所提供的那个100w的数据集训练，可是很快loss稳定在3.0就不降低了

Open iniroc opened this issue 2 years ago • 8 comments

可是很快loss稳定在3.0就不降低了，大概也就十几个epoch吧，请问最好的效果是这样吗或者说还有没有什么训练方法可以让模型得到更好的效果呢

Nov 26 '22 02:11 iniroc

batch_size设置的128

Nov 26 '22 02:11 iniroc

我也有同样的问题，怎么解决阿？

Dec 06 '22 09:12 cxhermagic

batch设置的是64

Dec 06 '22 09:12 cxhermagic

我的都已经过了好31个epoch了，从27个epoch开始就在3左右徘徊，是不是遇到了局部最优？

Dec 06 '22 09:12 cxhermagic

同3090我在13个epoch就开始在3降不下去了，可能数据质量不好。

Mar 10 '23 06:03 Jehuty-ML

请问你们loss到3左右降低不下去了的时候，batch_acc大概多少呢我只有3060训练，我减少了语料 batch_size为32 训练了40的Epoch batch_acc只有0.3左右

Jun 15 '23 06:06 Whylickspittle

请问数据集可以再分享一下吗，链接失效了，谢谢

Nov 07 '23 14:11 Mylszd

大佬们谁发一下数据集链接作者的不可用了

Mar 26 '24 13:03 1dengguosong