What's the meaning of G in Equation(2)

[songkq]

[songkq]

还有以下问题想请教下： 1、Mini-batch每个遮挡样本中，如果使用多个字符掩码效果如何？ 2、掩码对字符在数据集中的出现频次是否有要求？ 3、对单字预测效果如何？

[wangyuxin87]

G的形式为Eq.3。 1.我们简单地进行了2个字符遮挡的实验，效果有提升。 2.在我们的实验中，MLM可视化结果更关注的是位置信息，例如重复的字符中，MLM能准确根据位置定位而不是内容定位。 3.单个字符不需要语言信息。