oppo-text-match model fit是预训练还是预训练+ft？

model fit是预训练还是预训练+ft？

Open stellaHSR opened this issue 3 years ago • 2 comments

你好，看到代码里build_transformer_model 设置了with_mlm, 理解这里是需要做预训练。后面代码里只有一个fit，这里模型训练的时候是会同时进行finetune吗？

Mar 07 '21 06:03 stellaHSR

不知道你看了博客（ https://kexue.fm/archives/8213 ）没有？博客已经介绍了这个模型是分类、预训练和半监督学习结合在一起的。

Mar 08 '21 02:03 bojone

如果继续做finetune 是应该继续用mlm参数预测[cls]为yes还是no 还是应该做下游任务用dense预测1还是0？

已回复：应该使用后者感谢！

Mar 22 '21 15:03 DukeKevin