大佬好，请教一下，如果做增量预训练呢？

[listwebit]

Reminder

• [X] I have searched the Github Discussion and issues and have not found anything similar to this.

Motivation

1.现在好像官方代码不支持增量预训练，怎么才能做增量预训练呢？ 2.能不能再sft脚本上输如数据改一下，直接用领域无监督数据输如进去做呢？ 或者稍微修改进行数据偏移一下呢？ 3.请大佬指点一下如果具体做呢

Solution

谢谢

Alternatives

谢谢

Anything Else?

谢谢

Are you willing to submit a PR?

• [X] I'm willing to submit a PR!

[Yimi81]

1. 官方仓库目前只支持SFT，目前有很多优秀的微调框架支持Yi的增量预训练。
2. 增量预训练用的就是无监督数据，可以直接输入，可以参考下上面推荐的微调框架里数据是怎么样的
3. 如上