TextClassification icon indicating copy to clipboard operation
TextClassification copied to clipboard

Published 20 hours ago • verified publisher icon songyingxin

Transformer的一些问题

Open yihenglu opened this issue 4 years ago • 1 comments

你好：请问 1.Decoder是还没有使用吗，因此masking也不能使用？ 2. 如果使用masking，那输入masking的size是[batch_size, seq_max_length]吗？ 谢谢！

yihenglu avatar Mar 14 '20 03:03 yihenglu

transormer 用于下游任务是没有decoder， mask是预训练bert的，跟此处没有关系，此处不mask

songyingxin avatar Apr 14 '21 09:04 songyingxin