MockingBird icon indicating copy to clipboard operation
MockingBird copied to clipboard

loss不降反升

Open Noct-Cp opened this issue 3 years ago • 8 comments

我在wsl中训练,速度快了,但是loss却反升 windows中也反升 是因为我改了这几个参数吗 image

Noct-Cp avatar May 24 '22 06:05 Noct-Cp

好了,是螺旋形下降

Noct-Cp avatar May 24 '22 07:05 Noct-Cp

我在wsl中训练,速度快了,但是loss却反升 windows中也反升 是因为我改了这几个参数吗 图像

大佬,LOSS迟迟不下降有什么好的方法吗

1239hy avatar May 28 '22 08:05 1239hy

我在wsl中训练,速度快了,但是loss却反升 windows中也反升 是因为我改了这几个参数吗 图像

大佬,LOSS迟迟不下降有什么好的方法吗

大佬你是怎么解决的,升降反复的?

1239hy avatar May 28 '22 08:05 1239hy

大佬你是怎么解决的,升降反复的? 是这样的: 首先我不是大佬,我只是一个一心想要恶搞老师的初二无聊网课学生 那我找到的方法是:从一开始就做大数据集 您想想,aidatatang_200zh这个200小时的语音数据150k就过拟合了,我一200句的还不得…… 这只是我的猜想

Noct-Cp avatar May 29 '22 12:05 Noct-Cp

大佬你是怎么解决的,升降反复的? 是这样的: 首先我不是大佬,我只是一个一心想要恶搞老师的初二无聊网课学生 那我找到的方法是:从一开始就做大数据集 您想想,aidatatang_200zh这个200小时的语音数据150k就过拟合了,我一200句的还不得…… 这只是我的猜想 那意思是不是说越小的数据集,越早拟合。 之前作者说过,拟合只能换数据集。。 我现在在换数据集继续训练,换了才开始,还不知道会不会突破之前的最低LOSS。 我就是有个问题想不明白,为什么模型没有一个很好的效果,就拟合了?

1239hy avatar May 29 '22 15:05 1239hy

我就是有个问题想不明白,为什么模型没有一个很好的效果,就拟合了?

我是这样想的: 你一模一样的数据集放进去训练个几千遍,就一直只有这么一点,模型它也受不了啊,它也要一定的数据量来支持运算,一个数据集练很多遍,反而效果可能不是很好。

Noct-Cp avatar May 29 '22 23:05 Noct-Cp

我就是有个问题想不明白,为什么模型没有一个很好的效果,就拟合了?

我是这样想的: 你一模一样的数据集放进去训练个几千遍,就一直只有这么一点,模型它也受不了啊,它也要一定的数据量来支持运算,一个数据集练很多遍,反而效果可能不是很好。

不是吧,那我一样的数据集,每次调不同的BZ,loss下降的是不一样的呀

1239hy avatar May 30 '22 12:05 1239hy

不是吧,那我一样的数据集,每次调不同的BZ,loss下降的是不一样的呀

qs,batch_size是非常重要的

Noct-Cp avatar May 31 '22 01:05 Noct-Cp