Zhong Hui

lac 分词更准确点，jieba更快。推荐lac

大概多久，跑到什么时候出现了这个问题？ 看起来是数据DataLoader有点问题。

先直接重启训练试试？或者有更多报错截图吗？

数据方便给一份吗？我这边看能不能复现一下

比较大的话，可以传云盘， 比如 https://drive.google.com/ 。比较小的话，也可以直接加用户群，发给我们。

建议check一下paddle环境`paddle.utils.run_check()`

Hello, sure we can！ we support the pre-training of ERNIE in following folder. https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-1.0 you can try it！

It should have `ernie` model in the network. https://github.com/PaddlePaddle/PaddleNLP/blob/ec893dd05399ae4dd666a9628c58045c85d74d0a/paddlenlp/transformers/ernie/modeling.py#L1478-L1499 > Where's the MLM task? Will this path work? The MLM task is integrated with the `ernie-1.0` pre-training task. `AutoModelForPretraining` is...

> @ZHUI 请问一下，有没有使用ERNIE-3.0进行领域预训练文档呢，毕竟3.0性能更好。 祝好！ 你好，目前的代码已经可以支持 使用 ERNIE-3.0 进行预训练 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-1.0 此教程中，修改 `ernie-1.0-base-zh` -> `ernie-3.0-base-zh` 即可完成 `ernie-3.0` 的领域预训练

> 这个PR在新添加的`copyright_checker`这里出现了问题，不过不影响review。 有py文件没有添加copyright信息，merge最新分支，commit一下，即可解决。