DiffSynth-Studio icon indicating copy to clipboard operation
DiffSynth-Studio copied to clipboard

关于如何修改模型结构的问题

Open youmo445 opened this issue 3 months ago • 0 comments

您好,感谢您的工作,我有关于模型结构修改的两个问题:

  1. 在原始Wan2.1-Fun-V1.1-1.3B-Control模型中,模型输入为reference_image(参考图像), control_video(控制视频),video(视频真值),现在我想将第一帧图像到视频生成模型和原模型结合起来,那么我在extra_inputs中还多添加了一个input_images,这样子在pipeline中会自动调用WanVideoUnit_ImageEmbedderVAE以更新y且不会改变模型结构,这样子是否能够训练一个新的模型
  2. 我对wan_video_dit模型作出结构上的修改,比如多增加了一个动作输入,是否在self.keys_hash_with_shape_dict中添加新模型检查点的hashkey就可以完成新模型的注册和使用

youmo445 avatar Nov 25 '25 02:11 youmo445