DiffSynth-Studio icon indicating copy to clipboard operation
DiffSynth-Studio copied to clipboard

DiffSynth-Studio/examples/wanvideo/model_inference/Wan2.2-Fun-A14B-Control.py 多卡推理出现噪声

Open PrivateMaRyan opened this issue 2 months ago • 3 comments

用这个脚本单卡推理时没有问题,多卡推理时后半段会成为噪声,请问这个是什么原因呢,是不是多卡推理时应当增加什么设置,或者是当前脚本还不支持多卡推理?

推理时设置 pipe = WanVideoPipeline.from_pretrained( torch_dtype=torch.bfloat16, device="cuda", use_usp=True, #主要加这个更改 model_configs=[ …… ], )

运行时使用 torchrun --nproc_per_node=2 Wan2.2-Fun-A14B-Control.py

万望解答,不胜感激!

PrivateMaRyan avatar Oct 27 '25 10:10 PrivateMaRyan

@PrivateMaRyan 收到,我们将会进行排查和修复

Artiprocher avatar Oct 30 '25 06:10 Artiprocher

@Artiprocher 我也遇到了类似的问题,我使用Wan2.1-VACE-14B和Wan2.1-VACE-1.3B进行测试

单卡推理正常结果

https://github.com/user-attachments/assets/5009ebdd-60c0-4489-a7c4-c639507dfc7d

但多卡开usp推理后半段会有噪声

https://github.com/user-attachments/assets/aa665de3-3759-478b-984b-cb59dce9af7d

目前问题定位到usp的问题

补充:之前测过Wan-T2V的usp没问题,不知道使用其他模型开usp时问题在哪里,期待解答

doubleZ0108 avatar Nov 04 '25 06:11 doubleZ0108

我又尝试了更多的case,发现打开usp时推理结果中存在噪声与seed有关

我用Wan2.1-VACE-14B做的测试,Wan2.1-VACE-1.3B也是同样的问题

seed 视频 结果是否是好的
1 seed=1
2 seed=2
3 seed=3
4 seed=4
135378 seed=135378
524001 seed=524001
890224 seed=890224
941634 seed=941634

doubleZ0108 avatar Nov 04 '25 11:11 doubleZ0108

我也碰到了同样的问题,请问这个问题有解决方法了吗

Zoybzo avatar Dec 04 '25 12:12 Zoybzo

我在推理vace-lora时有遇到类似的问题,代码保存输出视频时没有检测是否在当前进程:

  1. 第7行增加: rank = int(os.getenv("RANK", 0))

  2. 第28行修改为: if rank == 0: save_video(video, "video_Wan2.1-VACE-14B.mp4", fps=15, quality=5)

希望可以帮到你

Van23Li avatar Dec 10 '25 02:12 Van23Li