LLaMA-Factory icon indicating copy to clipboard operation
LLaMA-Factory copied to clipboard

Published 20 hours ago • verified publisher icon hiyouga

预训练是否支持pretrain中文数据,扩充词表

Open zhangfan-algo opened this issue 1 year ago • 4 comments

想问下博主 pt代码是否支持pretrain中文数据集,以及如果预训练中文的时候是否支持扩充词表呢,因为原生llama对中文不是很友好,中文几乎找到在原有词表中

zhangfan-algo avatar Jun 25 '23 06:06 zhangfan-algo