[Feature Request]: MiniCPM3中是否还使用了“粗质量Stable+高质量Decay”？

[huyiwen]

Feature request / 功能建议

MiniCPM技术报告中提到“在预训练阶段只使用通用、量大的预训练粗质量数据，而在退火阶段，使用非常广泛的高质量知识和能力数据以及SFT的高质量数据，混合入预训练数据进行退火。”

请问在MiniCPM3中是否采用了相同的训练方法？是否有尝试过在Stable阶段加入高质量数据（或者换成Cosine降低学习率）？