请问博主的uinlm体现在哪里，transformers里的bert的attention默认是双向的

[SusannaWull]

[chenjie97]

是的，你说得很对，我加载进来的是bert的base版本（双向的），UNILM你可以自己去transformers的model hub选择一个合适的unilm模型加载进来，如：peterchou/unilm-chinese-base

[LowinLi]

好像huggingface也没有做unilm的注意力

[LowinLi]

https://github.com/huggingface/transformers/pull/2160

huggingface的unilm仍然没有合入

[1973719588]

同问，peterchou/unilm-chinese-base这里仍然没有实现unilm的特殊注意力机制掩码。