yujun
yujun
你好，我发现了 https://github.com/PaddlePaddle/PaddleNLP/pull/2728 这个PR将预训模型从`ernie-1.0`转化为`ernie-3.0-medium-zh`了。因此如果你想要复现结果的话，可以修改一下代码，`train.py`里面的预训练模型改成`ernie-1.0` 下面的这个我没跑完，改完模型后，效果不会差10个点了。
ernie3.0 meduim是 "num_hidden_layers": 6 层的模型。 ernie1.0 base是 "num_hidden_layers": 12 层的模型。 层数不同效果有所差距。
这可能有多种原因造成： - 这两个模型训练的方法（是否融入了知识，ernie1.0在训练的时候融入了知识信息，是否使用NSP任务之类的）。 - 这两个模型训练使用的数据集和训练时间。 - **还有那个下游微调的参数对于ernie1.0可能非常好，但是对于3.0可能不太友好**。(最可能是这个原因！)
当我将`dropout=0.3`替换成`dropout=0.1`的时候，使用`enrie3.0 base`结果不会差10个点了，我这里测试达到了`0.5895`。 ```python python -u -m paddle.distributed.launch --gpus '5' \ train.py \ --device gpu \ --save_dir ./checkpoints/ \ --batch_size 64 \ --learning_rate 5E-5 \ --epochs 1 \ --save_steps 100 \...
我感觉可能由于这个任务较为简单，只需要采样少量数据就可以达到不错的效果。当训练的轮数过多后，模型出现了过拟合的现象，导致模型的效果急剧下降（我也发现一个epoch训练完，效果非常差了）。
@patrickvonplaten @Thomas-MMJ when `PIllow` version >= 9.1.0 `PIL.Image.Resampling` donnot have `LINEAR` attr `PIL.Image.LINEAR` == `PIL.Image.BILINEAR` == `PIL.Image.Resampling.BILINEAR`
看输出，感觉现在单卡应该可以正常运行了。
建议查看一下系统的cuda版本，cudnn版本，cuda driver版本，当前主要是paddle环境没有安装正确，导致的报错。 可以查看一下对应的文档 https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/develop/install/pip/linux-pip.html
可能还是需要再确定一下环境的安装问题，有问题可以再交流
上面表示环境还没有正确安装好，cudnn跟cuda可能配置没有匹配上，建议运行一下这个看一下。 ```python import paddle paddle.utils.run_check() ```