关于从头训练MLM tasks任务的咨询。

[ljjcoder]

你好，感谢您提供的代码！关于预训练，我有一个问题想咨询一下。您提供的TaskForPretraining.py，实际上是从一个训练好的模型上进一步pretrain。如果我想完全从随机初始化开始进行pretrain，相关学习策略是否需要调整。例如初始学习率，衰减策略等等

[moon-hotel]

”实际上是从一个训练好的模型上进一步pretrain“ 你的理解是对的。 ”相关学习策略是否需要调整。例如初始学习率，衰减策略等等“是需要调整的。