请教关于单独训bert任务问题

[linwhitehat]

你好，请问在目前uer中单独训mlm和nsp能不能只通过删去target=bert中的loss来实现？这样效果和target=mlm的robert是一致的吗？

[hhou435]

由于bert训练使用的语料格式和roberta是不一致的，只删去nsp的loss 代码可能会报错，如果只想使用mlm任务训练bert，建议使用target=mlm，效果是一致的。