继续 Pretraining 的问题

[Jhangsy]

你好，我尝试用自己的语料对 Roberta-tiny-clue 模型进行预训练，但是加载模型的时候报错

 tensorflow.python.framework.errors_impl.NotFoundError: Key cls/predictions/transform/dense/kernel not found in checkpoint

看样子是 mlm 这一层的参数没有保留导致的，所以想确认一下，如果可以是否可以将 mlm 层的参数也公开？

万分感谢。