领域增量预训练超参怎么设置效果才能变好呢

[listwebit]

Reminder

• [X] I have searched the Github Discussion and issues and have not found anything similar to this.

Motivation

是不是需要和论文一致呢，但是好像论文没有放出来呀

Solution

能给些论文的超参吗

Alternatives

能给些论文的超参吗

Anything Else?

能给些论文的超参吗

Are you willing to submit a PR?

• [X] I'm willing to submit a PR!

[Yimi81]

目前技术报告还在完善中，后续会公开的。关于领域增量预训练超参怎么设置效果才能变好这个问题： 首先，你应该确定你增量预训练后的模型有没有学到你领域内的知识，然后通用知识有没有出现遗忘。公开测试集只能反应一方面，更重要的是实测结果，你还可以制作一个你领域内的测试集来测试你每次训练后的模型。 其次，增量预训练的超参设置网上有很多实践的答案，你可以参考一下，我认为比较重要的其实是你数据的质量