loss下降问题

[yyfanxing]

您好，我用这个代码训练synth90k的英文数据，数据量比较大，训练的时候一开始loss是正常下降的，但是后来经过每个epoch后loss竟然又上升了，这个不适合大数据量吗，无法收敛啊。我还试过小数据集进行训练，loss是正常下降了，但是到0.2就不下降了，不知道您有没有遇到类似情况。

[wushilian]

可以把学习率调小一点，我已经很久没用这个代码了

[yyfanxing]

@wushilian 我已经把学习率调到1e-5了，还要再调小吗，但是loss一直不下降，一开始不断上升，几个epoch后开始不再上升了，但是训练了一晚上，loss还是在1作用。

[wushilian]

@yyfanxing 我记得很久之前在syn90k数据上训练过，学习率是1e-4，优化器是adam，可以收敛

[yyfanxing]

我现在用50万的数据进行训练，仍然很难收敛，是不是数据集大的话attention很难收敛？我感觉训练个几天都无法收敛。

[HansRen1024]

@yyfanxing 请问您解决这个问题了嘛？我最近在用这个模型训练，也发现不收敛。