请问有办法降低训练wan2.2 animate的lora的显存要求吗

[professorhuanghaojing]

[Artiprocher]

@professorhuanghaojing LoRA 训练需要将模型全部加载进显存，这必然导致较大的显存需求。尽管推理时可以部分加载，训练时部分加载会导致训练速度极其缓慢，所以我们没有开启训练中的 offload 功能。

[professorhuanghaojing]

@professorhuanghaojing LoRA 训练需要将模型全部加载进显存，这必然导致较大的显存需求。尽管推理时可以部分加载，训练时部分加载会导致训练速度极其缓慢，所以我们没有开启训练中的 offload 功能。

那能否在训练时实现部分加载呢？目前主要问题还是显存的问题，即使训练速度缓慢也能接受

[lizhunkg]

@professorhuanghaojing LoRA 训练需要将模型全部加载进显存，这必然导致较大的显存需求。尽管推理时可以部分加载，训练时部分加载会导致训练速度极其缓慢，所以我们没有开启训练中的 offload 功能。

什么时候可以支持zero3 呢 ，如果支持zero3 也是能够解决一部分问题。

[tommaoer]

我测了77帧的训练，在单卡和多卡(80G)都可以微调lora，不知道这样会有什么影响吗。另外，之前我测81帧， 可以在单卡上训练，但是在epoch0结束时保存ckpt会报错，似乎是显存不够，可能差了6,700M. 我在Pro 6000 (96G) 上单卡训练显示是80.1xxG.