DeepSeek-Coder icon indicating copy to clipboard operation
DeepSeek-Coder copied to clipboard

Published 20 hours ago • verified publisher icon deepseek-ai

markdown格式的数据预训练

Open huangqingyi-code opened this issue 10 months ago • 3 comments

你好，我看你们v1.5版本的模型加入markdown格式的数据，在做预训练的时候，比如表格markdown的数据是不是在计算损失的时候是不是应该mask掉

huangqingyi-code avatar Apr 15 '24 06:04 huangqingyi-code