huling-2

Results 2 comments of huling-2

llama-2-13b多卡推理报错 RuntimeError: CUDA error: device-side assert triggered Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

Cuda是11.7。 ---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 发送日期 | 2024年03月09日 14:55 | | 收件人 | LlamaFamily/Llama-Chinese ***@***.***> | | 抄送人 | huling-2 ***@***.***>, Author ***@***.***> | |...

llama-2-13b多卡推理报错 RuntimeError: CUDA error: device-side assert triggered Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

单卡推理是ok的，多卡会报错。 ---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 发送日期 | 2024年03月09日 14:55 | | 收件人 | LlamaFamily/Llama-Chinese ***@***.***> | | 抄送人 | huling-2 ***@***.***>, Author ***@***.***> | |...