SmartFlowAI
分阶段微调是否合适？ （微调上的细节问题）
您好，您们的工作分享对于LLM初学者来说有着很大的启发！我也是其中之一。
在浏览完所有自述文件后，我观察到您们有多个数据集，特别是包含了大量角色扮演的数据集。我想请教下您们对于多个角色，是通过微调不同的角色模型，还是通过分阶段微调来对一个模型不断增强？如果是分阶段微调的话，具体是怎么做的呢？
因为我之前尝试实战了一个医疗大模型的微调，我发现医疗下仍然有很多细分场景，比如智能问诊，医药问答，以及您们工作中所提到的心理健康等等。我在思考这些细分场景是全部塞入一个大数据集内统一微调，还是分阶段微调合适呢？
这个问题相对来说偏于个人，如果能收到您们的答复，我将不胜感激！
您好，您们的工作分享对于LLM初学者来说有着很大的启发！我也是其中之一。
在浏览完所有自述文件后，我观察到您们有多个数据集，特别是包含了大量角色扮演的数据集。我想请教下您们对于多个角色，是通过微调不同的角色模型，还是通过分阶段微调来对一个模型不断增强？如果是分阶段微调的话，具体是怎么做的呢？
因为我之前尝试实战了一个医疗大模型的微调，我发现医疗下仍然有很多细分场景，比如智能问诊，医药问答，以及您们工作中所提到的心理健康等等。我在思考这些细分场景是全部塞入一个大数据集内统一微调，还是分阶段微调合适呢？
这个问题相对来说偏于个人，如果能收到您们的答复，我将不胜感激！
最近有个基于internlm做的项目， 它采用的方法就是多轮次微调训练的方法，
但是是否真正有效，还是要取决于数据集，微调方法和参数的，
您好，您们的工作分享对于LLM初学者来说有着很大的启发！我也是其中之一。 在浏览完所有自述文件后，我观察到您们有多个数据集，特别是包含了大量角色扮演的数据集。我想请教下您们对于多个角色，是通过微调不同的角色模型，还是通过分阶段微调来对一个模型不断增强？如果是分阶段微调的话，具体是怎么做的呢？ 因为我之前尝试实战了一个医疗大模型的微调，我发现医疗下仍然有很多细分场景，比如智能问诊，医药问答，以及您们工作中所提到的心理健康等等。我在思考这些细分场景是全部塞入一个大数据集内统一微调，还是分阶段微调合适呢？ 这个问题相对来说偏于个人，如果能收到您们的答复，我将不胜感激！
最近有个基于internlm做的项目， 它采用的方法就是多轮次微调训练的方法，
但是是否真正有效，还是要取决于数据集，微调方法和参数的，
可以了解下分阶段微调的策略是什么样的嘛？