Phi2-mini-Chinese icon indicating copy to clipboard operation
Phi2-mini-Chinese copied to clipboard

预训练数据集问题

Open lxianl455 opened this issue 10 months ago • 1 comments

请问使用的预训练数据集是什么? 我去BELLE仓库去看,看到的大多数都是指令微调的数据集。你是使用类似于Multiturn Chat这种数据集去做预训练的吗?

lxianl455 avatar Apr 05 '24 06:04 lxianl455