微调GPU需求

[baihuajun24]

微调10B模型有推荐的GPU要求么，比如说至少多少内存l? 20G内存和单张3090是推理的需求吧，如果要跑finetune 10B模型，最少要几张3090呀, 支持QLora, ptuning这种节约计算的形式么?

[zh-zheng]

Hi, 目前默认支持LoRA微调，暂不支持QLora。 finetune 10B模型需要的显存和文本长度、batch size等有关，目前最少要两张3090。

[Mewral]

@zh-zheng 你好，我在2张V100S上微调10B模型还是会OOM，batch size为1 采用增量微调的方式。有什么办法可以进一步降低显存消耗吗

[zh-zheng]

@zh-zheng 你好，我在2张V100S上微调10B模型还是会OOM，batch size为1 采用增量微调的方式。有什么办法可以进一步降低显存消耗吗

两张V100 16G吗？

[Mewral]

@zh-zheng 你好，我在2张V100S上微调10B模型还是会OOM，batch size为1 采用增量微调的方式。有什么办法可以进一步降低显存消耗吗

两张V100 16G吗？

两张V100S 32G，因为有其他进程每张卡可用22G左右

[zh-zheng]

两张V100S 32G，因为有其他进程每张卡可用22G左右

两张32G的卡，在max_length设置较小的情况下（例如32）是可以跑的。

[huangbaichao]

@zh-zheng 请问单卡80G显存，10B是可以微调的吧？按照一些记录看，2张3090不到50G，那这么推理80应该是够的吧