能否在同一模型上针对多任务进行多次微调，之前微调获得的能力是否能够保留？

[Karenlyw]

RT，针对完全不同的任务，每一个都去训练单独的模型消耗比较大，基于同一个模型累加训练是否可行？原来学到的能力是否能够保留？如果可以，推荐用哪种微调方案呢？感谢~

[hiyouga]

请学习灾难性遗忘的相关概念

[Karenlyw]

请学习灾难性遗忘的相关概念

感谢回答，但实验中发现模型在一次微调以后依然保留了原始模型的其他任务的能力，并没有发生灾难性遗忘。所以想知道多任务微调是否也具备类似的性质？

[hiyouga]

我认为通过实验验证是最快的方法

[HaKLMTT]

你是什么任务，我怎么觉得只要是微调都很容易出现灾难性遗忘呢？

[Karenlyw]

你是什么任务，我怎么觉得只要是微调都很容易出现灾难性遗忘呢？

有摘要任务，有抽取分类任务，试了一下增量微调，效果不太理想