TencentPretrain icon indicating copy to clipboard operation
TencentPretrain copied to clipboard

Published 20 hours ago • verified publisher icon Tencent

用自己的中文数据的话，preprocess中需要把数据格式调整成什么形式即可？这部分相关说明有吗？目标是想做llama的增量预训练

Open baketbek opened this issue 1 year ago • 1 comments

用自己的中文数据的话，preprocess中需要把数据格式调整成什么形式即可？这部分相关说明有吗？目标是想做llama的增量预训练

baketbek avatar Apr 10 '23 12:04 baketbek

看他数据样例有

equationdz avatar Apr 10 '23 15:04 equationdz