RuntimeError: CUDA error: no kernel image is available for execution on the device

[Bruceywj]

RuntimeError: CUDA error: no kernel image is available for execution on the device CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1 Compile with TORCH_USE_CUDA_DSA to enable device-side assertions.

查看说明书和开始讲解的时候，报这个是cuda版本不兼容吗？ 显卡p40: Driver Version: 545.23.08 CUDA Version: 12.3 torch 2.2.2 torch-complex 0.4.4 torchaudio 2.2.2 torchmetrics 1.4.0.post0 torchvision 0.17.2

[PeterH0323]

用我的 conda yml 安装下环境，应该是环境的问题

[Bruceywj]

conda env create -f environment.yml 我最开始就是这样创建的环境，我重做一下试试

[Bruceywj]

git clone https://github.com/PeterH0323/Streamer-Sales.git cd Streamer-Sales conda env create -f environment.yml conda activate streamer-sales pip install -r requirements.txt

export USING_4BIT=true # 设置使用 4bit 模型 export KV_CACHE=0.05 # 设置 kv cache 在全部模型启动之后，占用的剩余显存比例

streamlit run app.py --server.address=0.0.0.0 --server.port 7860

全部按上面重新拉了一遍，最后，还是下面这个信息： RuntimeError: CUDA error: no kernel image is available for execution on the device CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. Compile with TORCH_USE_CUDA_DSA to enable device-side assertions. 能有空帮看看吗？谢谢。

[PeterH0323]

可以设置 ENABLE_ASR=false 将 ASR 关闭，同时设置 KV_CACHE=0.1 再试试：

export ENABLE_ASR=false
export KV_CACHE=0.1

[Bruceywj]

试了 export ENABLE_ASR=false export KV_CACHE=0.1 也还是报上面的错误。

[PeterH0323]

估计显卡的问题，有其他显卡试试吗？消费卡 RTX 或者 A 系列的

[Bruceywj]

你好，请问你用的什么系统？什么卡？cuda是用的什么版本？

[PeterH0323]

文档已更新，可以参考下：https://github.com/PeterH0323/Streamer-Sales#%EF%B8%8F-%E9%85%8D%E7%BD%AE%E9%9C%80%E6%B1%82

[Bruceywj]

Docker版，我在build的时候，一直网络报错，也科学了上了

[Bruceywj]

非docker下跑起来了。 谢谢。