MiniCPM icon indicating copy to clipboard operation
MiniCPM copied to clipboard
verified publisher icon OpenBMB

[继续预训练的学习策略]

Open mynewstart opened this issue 1 year ago • 0 comments

您好， 请问如果想在你们模型的基础上继续在某个领域的数据(大概20B）上继续预训练，是不是可以在你们退火后的学习率1e-3的基础上使用WSD的学习策略？是将1e-3设置为最大学习率，然后运用你们的公式根据步数调整LR吗？

mynewstart avatar May 18 '24 08:05 mynewstart