[BUG] 想做14b 和 72b 的微调，请教多少配置合适？

[SmileLikeYe]

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

• [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

• [X] 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

我大概有 10万条新的数据，想做14b 或者 72b 的微调，但是是新手，对买多大的配置合适不提前了解，想请教下. 我目前了解下想买 GPU: NVIDIA RTX 4090 24G 涡轮显卡 *2 CPU: INTEL 至强金牌 6133 2.5G 20核40线程 * 2 主板：INTEL C621服务器主板 (最大支持4张GPU) 内存：二星DDR4 RECC 32G 2666HZ服务器内存条(总128G) 电源: 1+1 2000W 元余服务器电源

能跑 13b 的微调吗？能跑 72b 的微调吗？ 上面的配置有什么需要调整的吗？( 不够或者太少)

期望行为 | Expected Behavior

能解惑。

复现方法 | Steps To Reproduce

1

运行环境 | Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA (`python -c 'import torch; print(torch.version.cuda)'`):

备注 | Anything else?

1

[frankang]

72b的不行。14b的少量数据跑lora微调（模型本身不微调，只微调新增的少量参数）勉强可以。

[tomFoxxxx]

以14B模型为例，LORA微调大概需要 4 * 14 的显存。

[mengban]

别浪费钱和精力了 直接租云服务器吧。。。

[Hazards10]

我32*2的显卡，128内存跑Qwen-14B的与预训练模型lora微调跑不起来

[tomFoxxxx]

我32*2的显卡，128内存跑Qwen-14B的与预训练模型lora微调跑不起来

lora_rank设低一点，attn不要全开，bsz也可以调整，理论上14B的模型两张V100是够用的。

[jklj077]

https://github.com/QwenLM/Qwen/tree/main/recipes/finetune/deepspeed#settings-and-gpu-requirements

Please see here for the settings that we have tested.