关于MLM的问题

[ItGirls]

一般在MLM中，通常屏蔽给定句子中特定百分比的单词，模型期望基于该句子中的其他单词预测这些被屏蔽的单词。那么在把实体识别任务转换成MLM（EntLM）的话，是要mask所有单词吗，毕竟最终需要对每个token都预测一个label word。

[rtmaww]

你好，prompt的做法把下游任务转化为MLM任务，一般会构造少数几个[MASK]让模型去预测，不会屏蔽给定句子中特定百分比的单词。我们的方法和prompt思路类似，但做法是不Mask输入，而是让模型在实体位置预测对应的label word。具体细节可以参考我们的论文https://arxiv.org/pdf/2109.13532.pdf ，论文中Figure 2也有比较直观的说明。