[Question]: 如何在ernie 1.0预训练的时候加入领域实体信息？

[mingwei-liu]

请提出你的问题

您好，现在我在针对特定领域训练ernie 1.0模型（英文），然后我有一些特定领域的实体名字列表，但是我不太清楚哪部分代码是和论文中提及的Entity-Level Masking有关？以及我应该如何将这些领域实体信息注入呢？ 非常感谢！

[ZHUI]

你好，这些实体信息，是通过 whole words mask 注入的。只需要动态mask的时候，mask全部实体即可。

[WatsonWangZh]

你好，这些实体信息，是通过 whole words mask 注入的。只需要动态mask的时候，mask全部实体即可。

您好，感谢您的回复，我在使用时也遇到了这个疑问，可以请您再详细展开讨论一下吗？

[github-actions[bot]]

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动，被标记为stale。

[github-actions[bot]]

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天，即将关闭。