New-Pytorch-Chinese icon indicating copy to clipboard operation
New-Pytorch-Chinese copied to clipboard

大佬,受累问一下,损失函数逐步收敛到3.3左右突然上升到4.1,是adam的问题还是其他问题

Open mlm22222 opened this issue 3 years ago • 1 comments

image 我学习率和batch_size都调了,还是这样

mlm22222 avatar May 11 '22 08:05 mlm22222

训练次数有点少,我训练到75万次才迭代到3点多还是2点多来着,忘了。想要速度快,强烈建议找一些Transformer或者bert的预训练模型。

yamonc avatar May 16 '22 02:05 yamonc