onair1314

我也遇到同样的情况，请问您的问题解决了吗@523997931

@archwolf118请问您的v100显存是多少呢？cuda版本又是多少呢？ 我用单卡v100进行fine-tune训练时，会报错RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling cublasGemmEx

> 参考一下这个范例：https://github.com/xxm1668/chatglm2_lora/blob/main/train2.py 这个train2.py也只是跑通了deepspeed，仍然是单卡在跑吧？ @lyhue1991