3090显卡，CUDA11.1版本，单卡运行INT4推理报错

[dwq370]

3090显卡，CUDA11.1版本，单卡运行INT4推理报错

是CUDA版本的问题吗？MOSS最低CUDA版本是哪个？

[wangohaha]

我也是这个错，大佬有解决嘛

[alin995]

我用10.2可以的

[r4ehyp]

我也是一样的问题， CUDA Version: 11.8 Ubuntu 22.04.2 LTS Detail Information:

Setting pad_token_idtoeos_token_id:106068 for open-end generation. Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/hyp/anaconda3/envs/moss/lib/python3.8/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context return func(*args, **kwargs) File "/home/hyp/anaconda3/envs/moss/lib/python3.8/site-packages/transformers/generation/utils.py", line 1358, in generate if pad_token_id is not None and torch.sum(inputs_tensor[:, -1] == pad_token_id) > 0: RuntimeError: CUDA error: no kernel image is available for execution on the device

[dwq370]

问题已解决，requesments.txt中的torch版本是1.10.1，卸载到1.10.1，重新安装torch就可以了，不过执行速度太慢

pip uninstall torch pip install torch

[xiami2019]

请安装对应CUDA版本的PyTorch~

[enddlesswm]

遇到同样的问题， 显卡：3090 cuda：11.4 torch：1.10.1

[XCD4P]

pip uninstall torch pip install torch

问题解决

[Cocoalate]

我用10.2可以的

请问cuda10.2成功部署了哪个模型？torch accelerate 这些版本是多少呀 我是cuda11.0死活跑不通