Llama-Chinese
Llama-Chinese copied to clipboard
ValueError: Your setup doesn't support bf16/gpu. You need torch>=1.10, using Ampere GPU with cuda>=11.0
ValueError: Your setup doesn't support bf16/gpu. You need torch>=1.10, using Ampere GPU with cuda>=11.0 T4的卡不是安培架构无法运行吗?是否可以修改什么参数
ValueError: Your setup doesn't support bf16/gpu. You need torch>=1.10, using Ampere GPU with cuda>=11.0 T4的卡不是安培架构无法运行吗?是否可以修改什么参数
NVIDIA T4 GPU 是基於 Turing 架構,而不是 Ampere 架構。Turing 架構主要用於 NVIDIA 的 20 系列 GPU(例如 GeForce RTX 2080、3090)以及一些專業和資料中心 GPU,如 Quadro RTX 系列和 T4。
T4 GPU 主要設計用於伺服器 (server) 和資料中心環境,特別適用於機器學習推理、虛擬桌面基礎設施(VDI)和其他雲端計算的承載量。
如果你需要一個基於 Ampere 架構的資料中心 GPU,你應該考慮如 A100 或其他 A 系列 GPU。這些 GPU 提供了更高的性能和對新功能(例如 bfloat16 數據類型)的支援。
可以将shell文件里的bf16改为fp16