nlp-tutorial icon indicating copy to clipboard operation
nlp-tutorial copied to clipboard
verified publisher icon graykode

BERT存在两个严重问题

Open yuanyuan19 opened this issue 7 months ago • 2 comments

1.随机替换成词表中的其他词时应该排除[PAD],[CLS],[SEP],[MASK]，否则预测模型会学会预测这些词。 2.学习率开大了，始终难以收敛，开1e-6很合适。

yuanyuan19 avatar Jun 08 '25 07:06 yuanyuan19

您的邮件我已收到，将尽快回复！！

yuboona avatar Jun 08 '25 07:06 yuboona

Image如图，重新修改后效果非常好

yuanyuan19 avatar Jun 08 '25 07:06 yuanyuan19