HanksonYe

我在进行audio_driven的推理任务中发现一个问题： 如果denoising_unet， reference_unet，pose_guider这三个2D组件我使用的是我在train_stage1中训练好的版本，不论我的motion_module使用的是pretrained的motion_module.pth还是基于train_stage1 checkpoint训练好的motion_module.pth，我生成的视频几乎就是完全静止的，画面只有一些轻微的扰动。

我在使用audio-driven的任务中，如果我直接进行推理，那么结果还是正常的； 但是如果我进行了训练之后再进行推理，我就会发现画面开始抖动了，但是画面几乎不动了； 我是直接跳过了stage1直接训练stage2的，所以是这里出现的问题吗？ 另外我的训练的训练集的图像是1920*1080的，这个也会有影响吗？需要把所有的视频都弄成512*512的才能做吗？ 非常感谢各位好心人解答。