DeepSeek-Coder icon indicating copy to clipboard operation
DeepSeek-Coder copied to clipboard

Published 20 hours ago • verified publisher icon deepseek-ai

deepseek coder能够在base模型基础上继续与训练吗？

Open EnderWu opened this issue 1 year ago • 2 comments

我看模型架构沿用了和llama一致的transformer结构，是不是这continual training的模式也是差不多的？这一块能给更多的细节吗？

EnderWu avatar Jan 10 '24 10:01 EnderWu

一致的，所以你可以使用自己的数据继续预训练

guoday avatar Jan 26 '24 02:01 guoday

@guoday 能提供下预训练的脚步和数据样例么，谢谢

hwaking avatar Mar 18 '24 05:03 hwaking