chenjie97

是的，你说得很对，我加载进来的是bert的base版本（双向的），UNILM你可以自己去transformers的model hub选择一个合适的unilm模型加载进来，如：[peterchou/unilm-chinese-base](https://huggingface.co/peterchou/unilm-chinese-base)

大神不敢当。最近有点忙，忙完这一阵会搞一下。你自己也可以参考苏神的测试脚本写一下。