WhiteNight

不知道您是否解决该问题。我们在使用lora处理该模型时遇到了同样的问题...具体的问题是大约前一半bs推理非常慢，后面一半又非常快。同时观察到模型的输出大部分为空...

> 从报错中发现您的环境应该是V100机器，cuda版本应该不会是11.2（请通过nvcc -V确认而非nvidia-smi）.您的问题应该是由于cuda版本不支持bf16导致的，抱歉我们最近的修改没有对BF16进行完整测试，我们将很快对此进行修复 我的机器确实是v100，但nvcc -V查看版本后依然为11.2.

> 请问这个问题解决了吗 目前需要cuda10.2,安装这个paddlepaddle http://10.255.125.21:8111/paddlepaddle_gpu-0.0.0.post102-cp37-cp37m-linux_x86_64.whl,和paddlenlp这个branch https://github.com/PaddlePaddle/PaddleNLP/pull/7600,和先删除conda里的zlib库(1.2.13版本)，然后通过export LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libz.so 把zlib的链接目标到系统自带的1.2.8版本的zlib能编译成功