StarWhisper
StarWhisper copied to clipboard
在监督微调中,如何具体地调整通用数据和专业数据的比例,以缓解灾难性遗忘问题?
您好,关于release2.0版本提及的1.通过数据集清洗再训练,缓解了先前版本经过Agent/工具学习训练后对原有知识的灾难性遗忘,
能否问一下在SFT中具体采用的方法吗?包括通用数据具体采用了何种数据集,和专业数据的具体比例,以及训练前数据预处理过程?是否需要shuffle?或者别的处理?