【预训练模型的微调和再训练的区别是什么？】想请教paddle开发前辈们和各位网友

[zoeChen119]

最近在实习期间，前辈说再训练是拿着自己的数据在开源的预训练模型上继续训练，可是我搜索网上资料微调才是这个意思，貌似。 请教各位用自己的数据在别人训练好的预训练模型上train究竟是”再训练“还是”微调“？

[wawltor]

再训练和微调最大差别应该是模型训任务类型， 再训练，在一个预训练的基础上继续进行加上一定预训练数据继续训练； 微调，在预训练的模型的基础上加上有监督数据进行训练。

[zoeChen119]

模型训任务类型

请问这个是什么意思？

[zoeChen119]

再训练和微调最大差别应该是模型训任务类型， 再训练，在一个预训练的基础上继续进行加上一定预训练数据继续训练； 微调，在预训练的模型的基础上加上有监督数据进行训练。

是不是一个区别是用的是有标签数据就是微调，无标签数据就是再训练？

[wawltor]

再训练和微调最大差别应该是模型训任务类型， 再训练，在一个预训练的基础上继续进行加上一定预训练数据继续训练； 微调，在预训练的模型的基础上加上有监督数据进行训练。

是不是一个区别是用的是有标签数据就是微调，无标签数据就是再训练？

你可以这么理解，预训练的数据是无标签数据自动构造出来的

[zoeChen119]

再训练和微调最大差别应该是模型训任务类型， 再训练，在一个预训练的基础上继续进行加上一定预训练数据继续训练； 微调，在预训练的模型的基础上加上有监督数据进行训练。

是不是一个区别是用的是有标签数据就是微调，无标签数据就是再训练？

你可以这么理解，预训练的数据是无标签数据自动构造出来的

请问paddle有没有类似”再训练“的方法？

[zoeChen119]

是不是只要有evaluate(model, criterion, metric, dev_data_loader)就是微调，如果没有这一步，只有前面的loss&optimizer是再训练？

[wawltor]

再训练和微调最大差别应该是模型训任务类型， 再训练，在一个预训练的基础上继续进行加上一定预训练数据继续训练； 微调，在预训练的模型的基础上加上有监督数据进行训练。

是不是一个区别是用的是有标签数据就是微调，无标签数据就是再训练？

你可以这么理解，预训练的数据是无标签数据自动构造出来的

请问paddle有没有类似”再训练“的方法？

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-1.0 可以看看这里，这里是一个预训练过程，加载一下之前预训练的模型参数即可”再训练“

[zoeChen119]

再训练和微调最大差别应该是模型训任务类型， 再训练，在一个预训练的基础上继续进行加上一定预训练数据继续训练； 微调，在预训练的模型的基础上加上有监督数据进行训练。

是不是一个区别是用的是有标签数据就是微调，无标签数据就是再训练？

你可以这么理解，预训练的数据是无标签数据自动构造出来的

请问paddle有没有类似”再训练“的方法？

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-1.0 可以看看这里，这里是一个预训练过程，加载一下之前预训练的模型参数即可”再训练“

感谢前辈！是这个，那看来我找对了~

[github-actions[bot]]

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动，被标记为stale。

[github-actions[bot]]

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天，即将关闭。