UER-py icon indicating copy to clipboard operation
UER-py copied to clipboard

Published 20 hours ago • verified publisher icon dbiir

关于预训练target为mlm的问题

Open cobraheleah opened this issue 5 years ago • 1 comments

你好，我看代码在构建mlm数据集的过程中，针对一条数据，并没有在开头和结尾加入[CLS]和[SEP]，不知道是代码漏加了还是在训练mlm的时候不需要加入这两个token

cobraheleah avatar Jun 09 '20 09:06 cobraheleah

您好，我认为不需要加入 对效果影响很小 下游任务可以把[CLS]训练好

zhezhaoa avatar Jul 14 '20 17:07 zhezhaoa