Llama-Chinese icon indicating copy to clipboard operation
Llama-Chinese copied to clipboard

ValueError: Your setup doesn't support bf16/gpu. You need torch>=1.10, using Ampere GPU with cuda>=11.0

Open noeye opened this issue 1 year ago • 2 comments

ValueError: Your setup doesn't support bf16/gpu. You need torch>=1.10, using Ampere GPU with cuda>=11.0 T4的卡不是安培架构无法运行吗?是否可以修改什么参数

noeye avatar Sep 11 '23 07:09 noeye

ValueError: Your setup doesn't support bf16/gpu. You need torch>=1.10, using Ampere GPU with cuda>=11.0 T4的卡不是安培架构无法运行吗?是否可以修改什么参数

NVIDIA T4 GPU 是基於 Turing 架構,而不是 Ampere 架構。Turing 架構主要用於 NVIDIA 的 20 系列 GPU(例如 GeForce RTX 2080、3090)以及一些專業和資料中心 GPU,如 Quadro RTX 系列和 T4。

T4 GPU 主要設計用於伺服器 (server) 和資料中心環境,特別適用於機器學習推理、虛擬桌面基礎設施(VDI)和其他雲端計算的承載量。

如果你需要一個基於 Ampere 架構的資料中心 GPU,你應該考慮如 A100 或其他 A 系列 GPU。這些 GPU 提供了更高的性能和對新功能(例如 bfloat16 數據類型)的支援。

telunyang avatar Sep 14 '23 17:09 telunyang

可以将shell文件里的bf16改为fp16

zozoteacher avatar Sep 22 '23 08:09 zozoteacher