ernie3预训练

[ZTurboX]

在自己语料上，对ernie3提供的模型上做二次预训练，是怎么做的

[ZHUI]

使用 ernie-1.0 的预训练教程。 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-1.0#%E4%B8%AD%E6%96%87%E9%A2%84%E8%AE%AD%E7%BB%83

运行示例中 ernie-1.0-base-zh 全部替换 ernie-3.0-base-zh即可

[ZTurboX]

使用 ernie-1.0 的预训练教程。 https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-1.0#%E4%B8%AD%E6%96%87%E9%A2%84%E8%AE%AD%E7%BB%83

运行示例中 ernie-1.0-base-zh 全部替换 ernie-3.0-base-zh即可

跑run_pretrain.py报错

[ZHUI]

mac的机器吗?

[ZTurboX]

mac的机器吗?

昨天用了mac调试。今天换了linux可以。但一直卡在这不动

[ZHUI]

是不是语句中没有分句子？sop任务需要分句子，如果加 sop loss，可以设置 binary_head=False 选项。

[ZTurboX]

是不是语句中没有分句子？sop任务需要分句子，如果加 sop loss，可以设置 binary_head=False 选项。

text是一段语句。是要分句，然后\n拼接吗

[ZHUI]

对，换行表示分句子，空行表示分 doc。你可以设置 binary_head=False 先不加 sop loss跑一下

[ZTurboX]

对，换行表示分句子，空行表示分 doc。你可以设置 binary_head=False 先不加 sop loss跑一下

使用jieba分词和lac分词处理数据训练模型，哪种会更好

[ZHUI]

lac 分词更准确点，jieba更快。推荐lac

[ZTurboX]

lac 分词更准确点，jieba更快。推荐lac

跑了一段时间后，会报这个错

[ZHUI]

大概多久，跑到什么时候出现了这个问题？

看起来是数据DataLoader有点问题。

[ZTurboX]

大概多久，跑到什么时候出现了这个问题？

看起来是数据DataLoader有点问题。

跑到step869000

[ZHUI]

先直接重启训练试试？或者有更多报错截图吗？

[ZTurboX]

先直接重启训练试试？或者有更多报错截图吗？

这是完整的报错截图。能够重启训练。后面再看看会不会报错。

[ZTurboX]

先直接重启训练试试？或者有更多报错截图吗？

重启训练后，同样会报错。之前没开启全词遮蔽不会报错。

[ZHUI]

数据方便给一份吗？我这边看能不能复现一下

[ZTurboX]

数据方便给一份吗？我这边看能不能复现一下

要怎么给您

[ZHUI]

比较大的话，可以传云盘， 比如 https://drive.google.com/ 。比较小的话，也可以直接加用户群，发给我们。

[ZTurboX]

比较大的话，可以传云盘， 比如 https://drive.google.com/ 。比较小的话，也可以直接加用户群，发给我们。

数据地址，训练时不开启sop任务 链接：https://pan.baidu.com/s/19bVoWPElvPfLRjtduLJsSw 提取码：29qs

[ZTurboX]

比较大的话，可以传云盘， 比如 https://drive.google.com/ 。比较小的话，也可以直接加用户群，发给我们。

最新的报错，是不是因为多进程分布式的原因，我只有一张卡训练

[prettyprettyboy]

单卡可以训练，多卡报错 LAUNCH INFO 2022-11-03 17:02:47,657 Pod failed INFO 2022-11-03 17:02:47,657 controller.py:109] Pod failed LAUNCH ERROR 2022-11-03 17:02:47,657 Container failed !!! Container rank 0 status failed cmd ... 这是什么情况呢？

[ZHUI]

建议check一下paddle环境paddle.utils.run_check()

[github-actions[bot]]

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动，被标记为stale。

[github-actions[bot]]

This issue was closed because it has been inactive for 14 days since being marked as stale. 当前issue 被标记为stale已有14天，即将关闭。