分阶段微调是否合适？ （微调上的细节问题）

[Rocky77JHxu]

您好，您们的工作分享对于LLM初学者来说有着很大的启发！我也是其中之一。

在浏览完所有自述文件后，我观察到您们有多个数据集，特别是包含了大量角色扮演的数据集。我想请教下您们对于多个角色，是通过微调不同的角色模型，还是通过分阶段微调来对一个模型不断增强？如果是分阶段微调的话，具体是怎么做的呢？

因为我之前尝试实战了一个医疗大模型的微调，我发现医疗下仍然有很多细分场景，比如智能问诊，医药问答，以及您们工作中所提到的心理健康等等。我在思考这些细分场景是全部塞入一个大数据集内统一微调，还是分阶段微调合适呢？

这个问题相对来说偏于个人，如果能收到您们的答复，我将不胜感激！