ALBERT-small训练效果问题

[Hanlard]

您好，我尝试在您训练的albert_small基础之上，使用金融语料预训练albert_small。 碰到问题： 在10万金融语料上训练后，即使再增加数，模型精度也不再提升，损失也不再下降。 当使用原先的学习率（0.000176）会发散，学习率我已经降低到1e-5和1e-6，但是学习效果仍然止步不前。 我训练的albert_small效果如下： 训练精度只有57和68。

1）您是否可以分享一下，albert_small训练的效果？ 2）对于提升预训练效果您是否可以分享一些经验？