预训练阶段段loss下降后升高了，模型训崩了

[liuheng0111]

在第一个阶段使用laion-2B的caption训练数据，放开VIT，mlp projector，vision export训练，freeze大语言模型进行训练，训练过程中loss先慢慢下降，但后面升高了，升高之后发现模型训崩了，已排除了训练数据问题，learning rate也调小了都不行，请问是哪里的问题？