LLMTuner icon indicating copy to clipboard operation
LLMTuner copied to clipboard
verified publisher icon zejunwang1

全量微调 7B

Open CuteMing opened this issue 2 years ago • 2 comments

您好，请问一下全量微调7B需要多少卡，8*V100 32G 够吗

CuteMing avatar Jun 19 '23 11:06 CuteMing

单卡 V100 可以全量微调 3B 的模型

zejunwang1 avatar Jun 20 '23 03:06 zejunwang1

可以啊，你开zero 2 3 什么的，两张A40可以全量调Bloom 7B

jiangjin1999 avatar Nov 11 '23 09:11 jiangjin1999