yelinga

关于模型微调的数据集

2

 你好，我将语法纠错模型训练的数据集定义成了这个样子，一行为一个样本，前面为包含语法错误的句子，后面为纠正后的句子，将这个数据集进行训练，但是，在训练过程中输出了如下信息：  貌似并没有将包含语法错误的句子和纠正后的句子分开，而是将句子对当作一个很长的句子，因为我理解的模型微调是在特定任务的数据集上进行训练，是有监督的数据，在模型训练过程中，包含语法错误的句子作为输入，纠正后的句子作为模型的输出， 但是您的代码貌似是通过无监督的数据进行训练，在训练过程中通过对无监督数据集进行词遮盖（mask），好像应该定义为进一步预训练，不知道我理解的是否正确 您训练过程中使用的数据集是语法错误纠正任务上的有监督的数据集还是通过无监督数据集进行进一步预训练的，期待您的回复。

输出

1

你好，想问下模型的最终输出结果是什么