svd的微调脚本可以用在25-frames的视频数据上么？

[DataAIPlayer]

我在用Accelerator的deepspeed做u-net微调时，即使batch_size=1，仍会出现显存溢出

[sculmh]

你可以尝试将训练的分辨率调低、trainable_modules只微调一部分模块而不是'all'、cache_latents设为True等方法降低显存

[DataAIPlayer]

我测试用的是lora微调，使用部分模块是可以运行的，但微调后效果没出来；分辨率如果调低训练lora，在推理的时候，生成效果是不是就不太行了？

[sculmh]

我之前试过在低分辨率上微调，高分辨率上推理，没有发现效果有明显下降。不过没有进行规模化的实验验证。

[xiangweifeng]

我在用Accelerator的deepspeed做u-net微调时，即使batch_size=1，仍会出现显存溢出

多大显存啊

[DataAIPlayer]

A100 80G

[DataAIPlayer]

我之前试过在低分辨率上微调，高分辨率上推理，没有发现效果有明显下降。不过没有进行规模化的实验验证。

是motion lora么？我这边找了30张图片，然后规则做的zoom，微调的，batch_size=1就崩了，都还没用Classifier-free guidance. 哈哈

[sculmh]

不是lora。SVD这部分工作我参与不多，不是很熟。

[sculmh]

你用的图片还是视频微调motion？

[DataAIPlayer]

将一张图片用规则做成zoom in/zoom out的视频进行motion lora微调的