StarWhisper icon indicating copy to clipboard operation
StarWhisper copied to clipboard

在监督微调中,如何具体地调整通用数据和专业数据的比例,以缓解灾难性遗忘问题?

Open 4daJKong opened this issue 1 year ago • 0 comments

您好,关于release2.0版本提及的1.通过数据集清洗再训练,缓解了先前版本经过Agent/工具学习训练后对原有知识的灾难性遗忘,

能否问一下在SFT中具体采用的方法吗?包括通用数据具体采用了何种数据集,和专业数据的具体比例,以及训练前数据预处理过程?是否需要shuffle?或者别的处理?

4daJKong avatar Jan 18 '24 00:01 4daJKong