Phi2-mini-Chinese icon indicating copy to clipboard operation
Phi2-mini-Chinese copied to clipboard

Published 20 hours ago • verified publisher icon charent

预训练数据集问题

Open lxianl455 opened this issue 1 year ago • 1 comments

请问使用的预训练数据集是什么？ 我去BELLE仓库去看，看到的大多数都是指令微调的数据集。你是使用类似于Multiturn Chat这种数据集去做预训练的吗？

lxianl455 avatar Apr 05 '24 06:04 lxianl455

现在huggingface发布的版本中，有添加过单论对话的语料，多轮对话的语料没有添加

charent avatar Apr 20 '24 00:04 charent