basic_masked_language_model.py

[chongzicbo]

这个example中 输入：[CLS]科学[MASK][MASK]是第一生产力[SEP] 预测出来的结果是，，两个逗号,而不是技术 使用的模型是hugging face 模型库中的bert-base-chinese。 模型加载过程中出现大量警告： 请问只是啥问题？

[Tongjilibo]

警告是因为没有成功加载预训练参数，因为你用的bert-base-chinese的权重的key和本框架没有完全对齐，导致Laynorm层的权重和偏置未成功加载，可以使用转化脚本修改一下，本项目使用到的部分数据集下载链接，直接加载的checkpoint清单

之前issue中有提及：#2