ZTurboX

> 使用 ernie-1.0 的预训练教程。 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-1.0#%E4%B8%AD%E6%96%87%E9%A2%84%E8%AE%AD%E7%BB%83 > > 运行示例中 `ernie-1.0-base-zh` 全部替换 `ernie-3.0-base-zh`即可 跑run_pretrain.py报错 

> mac的机器吗? 昨天用了mac调试。今天换了linux可以。但一直卡在这不动 

> 是不是语句中没有分句子？sop任务需要分句子，如果加 sop loss，可以设置 `binary_head=False` 选项。 text是一段语句。是要分句，然后\n拼接吗

> 对，换行表示分句子，空行表示分 doc。你可以设置 `binary_head=False` 先不加 sop loss跑一下 使用jieba分词和lac分词处理数据训练模型，哪种会更好

> lac 分词更准确点，jieba更快。推荐lac 跑了一段时间后，会报这个错 

> 大概多久，跑到什么时候出现了这个问题？ > > 看起来是数据DataLoader有点问题。 跑到step869000

> 先直接重启训练试试？或者有更多报错截图吗？ 这是完整的报错截图。能够重启训练。后面再看看会不会报错。

> 先直接重启训练试试？或者有更多报错截图吗？ 重启训练后，同样会报错。之前没开启全词遮蔽不会报错。

> 数据方便给一份吗？我这边看能不能复现一下 要怎么给您

> 比较大的话，可以传云盘， 比如 https://drive.google.com/ 。比较小的话，也可以直接加用户群，发给我们。 数据地址，训练时不开启sop任务 链接：https://pan.baidu.com/s/19bVoWPElvPfLRjtduLJsSw 提取码：29qs