BERT添加新的预训练任务

[linwhitehat]

你好，我想尝试将其他预训练模型中的目标任务改写到bert中，比如ernie的实体掩码方法，是否有一些教程有说明当前的代码结构能够帮助我写新的目标任务？

[linwhitehat]

我的关注点可能只在bert部分，但是uer版本是集成化的，用起来很方便，但是想改预训练部分自己找不出比较完整的代码逻辑，能否关于bert进行预训练部分做一些代码结构的说明？

[linwhitehat]

我读了几遍代码和查了一点资料，大概清楚整体的调用逻辑，但是还有些细节不太清楚，想问一下在uer/models/model.py中前向网络的参数是从哪里调用的，我从pretrain跟踪到这一块似乎没看到这部分参数是哪里来的，本身对torch的了解也不深，希望作者帮忙我理清一下代码。