Linly
Linly copied to clipboard

Published 20 hours ago •

Reame
Issues

领域语料增量预训练怎么做？

Open calvinzhan opened this issue 1 year ago • 2 comments

如果我有一批领域纯文本，不知可以通过chatllama来继续进行预训练吗，还是得从中英文增量预训练后的llama开始训练起？领域预训练完，再进行指令微调？

另外，领域上的指令微调训练集生成有什么指导意见不？

谢谢！

Apr 03 '23 03:04 calvinzhan

同样的疑问

Apr 07 '23 12:04 jamestch

同样的疑问

Apr 20 '23 09:04 ze00ro