DiffSynth-Studio
DiffSynth-Studio copied to clipboard
Wan 2.2 S2V 训练中没有 motion_video 的输入嘛?
dataset 里面没有关于 motion_video 的输入,WanVideoUnit_S2V 中对 motion_video 全部进行 0 初始化。但是推理的时候,却保留 motion_videos 。 1、请问训练的 motion_video 需要自己写输入嘛? 2、如果全部是 0 初始化,训练推理有一定 gap 是否合理?
@wangjue-wzq 这个模型的 motion_video 参数是可选的
- 如需在训练时使用 motion_video,请在训练数据集的 metadata.csv 中增加 motion_video 字段,并在脚本参数
--data_file_keys和--extra_inputs中添加 motion_video - 模型本身支持无 motion_video 的推理,如果推理时不需要这一输入,那么训练时可以不用,做到“想怎么用就怎么训”即可