Llama-Chinese icon indicating copy to clipboard operation
Llama-Chinese copied to clipboard

Published 20 hours ago • verified publisher icon LlamaFamily

70B模型sft和lora需要多大显存和内存

Open Dagoli opened this issue 1 year ago • 1 comments

目前机器： 单机16卡*32G显存 * 4机 内存1T 跑13B模型都没问题，跑70B的sft和lora都报内存不足？请问有微调过70B的朋友吗

Dagoli avatar Jan 11 '24 06:01 Dagoli

请问您有多机多卡的训练代码和脚本么

zhangapeng avatar Jan 23 '24 10:01 zhangapeng