请问lora微调72Bqwen需要多大内存，A800服务器

[uloveqian2021]

如题，希望大佬 告知，目前8卡A800上跑不起来

[Luobots]

同问，8卡A800 + LoRA base-model搞不出来，用的zero2，zero3+lora存在问题，可以交流一下 2 * 8卡A800多机载入72B在转成bf16时爆了内存（内存1T）？很奇怪

[88489754]

我4卡a800 加zero3可以，就是loss70轮都掉到0了奇怪，也不生效

[uloveqian2021]

我4卡a800 加zero3可以，就是loss70轮都掉到0了奇怪，也不生效

请问您这边服务器内存是多大

[fyabc]

@uloveqian2021 您好，72B lora + ds zero3微调的显存用量可以参考这里，8卡A800服务器应当是可以跑起来的。

[wengyuan722]

各位大神，我没有做过千问的微调，想咨询一下72b int4如何做lora微调，使用哪个脚本

[JavinYang]

各位大神，我没有做过千问的微调，想咨询一下72b int4如何做lora微调，使用哪个脚本

我也想知道你有进展吗？

[jklj077]

Please also see https://github.com/QwenLM/Qwen/tree/main/recipes/finetune/deepspeed#settings-and-gpu-requirements.