显存分配不平衡

[Kyrie666]

Reminder

• [x] I have read the above rules and searched the existing issues.

System Info

最新版本

Reproduction

进行qwen2.5 VL全量微调时，使用8张卡，总是有一张卡使用远超其他卡的显存，导致经常出现OOM的问题，看了其他的issue，也没有能够很好的解决这个问题。想问下可能是哪部分的问题，有没有可能能解决的方向。```


### Others

```text
进行qwen2.5 VL全量微调时，使用8张卡，总是有一张卡使用远超其他卡的显存，导致经常出现OOM的问题，看了其他的issue，也没有能够很好的解决这个问题。想问下可能是哪部分的问题，有没有可能能解决的方向。```

[Kyrie666]

gpu 6 已使用: 41.7285GB 86.93% 未使用: 6.2715GB 13.07% gpu 7 已使用: 26GB 54.17% 未使用: 22GB 45.83%

[Jimmy-L99]

+1，之前按照 #7055 设置use_unsloth_gc、enable_liger_kernel，大约进度50%之后，还是会分配不均，2*80GB分别占用40GB和75GB

[jiangxinufo]

请教下windows可以多卡训练吗？

[h123fire]

是的我和你一样，这种情况在不使用fa加速时候有效，但是开启了fa后 loss一直是0，目前是在PPU机器上

[KevinFan0]

是的我和你一样，这种情况在不使用fa加速时候有效，但是开启了fa后 loss一直是0，目前是在PPU机器上

请问在ppu上运行跑微调，需要修改哪些配置呢