loss不降反升
我在wsl中训练,速度快了,但是loss却反升
windows中也反升
是因为我改了这几个参数吗

好了,是螺旋形下降
我在wsl中训练,速度快了,但是loss却反升 windows中也反升 是因为我改了这几个参数吗
大佬,LOSS迟迟不下降有什么好的方法吗
我在wsl中训练,速度快了,但是loss却反升 windows中也反升 是因为我改了这几个参数吗
大佬,LOSS迟迟不下降有什么好的方法吗
大佬你是怎么解决的,升降反复的?
大佬你是怎么解决的,升降反复的? 是这样的: 首先我不是大佬,我只是一个一心想要恶搞老师的初二无聊网课学生 那我找到的方法是:从一开始就做大数据集 您想想,aidatatang_200zh这个200小时的语音数据150k就过拟合了,我一200句的还不得…… 这只是我的猜想
大佬你是怎么解决的,升降反复的? 是这样的: 首先我不是大佬,我只是一个一心想要恶搞老师的初二无聊网课学生 那我找到的方法是:从一开始就做大数据集 您想想,aidatatang_200zh这个200小时的语音数据150k就过拟合了,我一200句的还不得…… 这只是我的猜想 那意思是不是说越小的数据集,越早拟合。 之前作者说过,拟合只能换数据集。。 我现在在换数据集继续训练,换了才开始,还不知道会不会突破之前的最低LOSS。 我就是有个问题想不明白,为什么模型没有一个很好的效果,就拟合了?
我就是有个问题想不明白,为什么模型没有一个很好的效果,就拟合了?
我是这样想的: 你一模一样的数据集放进去训练个几千遍,就一直只有这么一点,模型它也受不了啊,它也要一定的数据量来支持运算,一个数据集练很多遍,反而效果可能不是很好。
我就是有个问题想不明白,为什么模型没有一个很好的效果,就拟合了?
我是这样想的: 你一模一样的数据集放进去训练个几千遍,就一直只有这么一点,模型它也受不了啊,它也要一定的数据量来支持运算,一个数据集练很多遍,反而效果可能不是很好。
不是吧,那我一样的数据集,每次调不同的BZ,loss下降的是不一样的呀
不是吧,那我一样的数据集,每次调不同的BZ,loss下降的是不一样的呀
qs,batch_size是非常重要的