transformers_tasks 请问大模型微调需要多少显存？

请问大模型微调需要多少显存？

Open Crayon-s7 opened this issue 1 year ago • 3 comments

Apr 20 '23 06:04 Crayon-s7

这取决于您的 max_soruce_length 和 max_target_length 的设置。在我的实验中，整个训练句子（source + target）加起来 800 个 token 下需要大约 31 G 左右的显存（V100）。

Apr 20 '23 06:04 HarderThenHarder

请问一下，如果有两片16G(T4)的卡，要怎么跑这个实验呢？用MUlti_gpu的方法试了一下，都是爆显存错误。

Apr 23 '23 06:04 cheney369

请问一下，如果有两片16G(T4)的卡，要怎么跑这个实验呢？用MUlti_gpu的方法试了一下，都是爆显存错误。

@HarderThenHarder 相同的显卡，len调到200两张卡都爆，同问

Apr 24 '23 15:04 Tungsong