Vary-toy icon indicating copy to clipboard operation
Vary-toy copied to clipboard

Published 20 hours ago • verified publisher icon Ucas-HaoranWei

请问训练大概需要什么性能的GPU

Open xaswq opened this issue 1 year ago • 9 comments

是否需要A100呢？

xaswq avatar Jan 27 '24 14:01 xaswq

用不到A100, 我用过L40训练，但是我没有3090无法测试，但是感觉24G调整下setting是可以训练的

Ucas-HaoranWei avatar Jan 28 '24 00:01 Ucas-HaoranWei

您好，请问怎样调整setting可以做到24G左右，我是V100 32G,在第二阶段的训练中，调整训练参数一直显存溢出，咨询一下还有哪些方法，谢谢

用不到A100, 我用过L40训练，但是我没有3090无法测试，但是感觉24G调整下setting是可以训练的

sixgod-666 avatar Mar 19 '24 08:03 sixgod-666

你得把max length 调小点？

Ucas-HaoranWei avatar Mar 19 '24 08:03 Ucas-HaoranWei

你得把max length 调小点？

尝试过了调小至64都不行，所有的batch_size也调成了1，两个vision_tower也冻结了，还有其他的角度可以缩减显存吗，希望能给我提供一些思路 谢谢

sixgod-666 avatar Mar 19 '24 08:03 sixgod-666

请问你用了几张卡，用deepspeed了吗，还是直接train的，直接train的话一张卡模型放不下

Ucas-HaoranWei avatar Mar 19 '24 08:03 Ucas-HaoranWei

是deepspeed 一张卡 这是我的参数您看一下 IMG_20240319_170117

sixgod-666 avatar Mar 19 '24 09:03 sixgod-666

一张卡deepspeed没法切模型，导致超显存，一张卡跑不起来...

Ucas-HaoranWei avatar Mar 19 '24 10:03 Ucas-HaoranWei

所以至少需要两张卡才可以是吗，单卡的话有解决方案吗，感谢感谢

sixgod-666 avatar Mar 19 '24 11:03 sixgod-666

所以至少需要两张卡才可以是吗，单卡的话有解决方案吗，感谢感谢

同问

qin-yuhao avatar Jun 15 '24 17:06 qin-yuhao