DiffSynth-Studio/examples/wanvideo/model_inference/Wan2.2-Fun-A14B-Control.py 多卡推理出现噪声
用这个脚本单卡推理时没有问题,多卡推理时后半段会成为噪声,请问这个是什么原因呢,是不是多卡推理时应当增加什么设置,或者是当前脚本还不支持多卡推理?
推理时设置
pipe = WanVideoPipeline.from_pretrained( torch_dtype=torch.bfloat16, device="cuda", use_usp=True, #主要加这个更改 model_configs=[ …… ], )
运行时使用 torchrun --nproc_per_node=2 Wan2.2-Fun-A14B-Control.py
万望解答,不胜感激!
@PrivateMaRyan 收到,我们将会进行排查和修复
@Artiprocher 我也遇到了类似的问题,我使用Wan2.1-VACE-14B和Wan2.1-VACE-1.3B进行测试
单卡推理正常结果
https://github.com/user-attachments/assets/5009ebdd-60c0-4489-a7c4-c639507dfc7d
但多卡开usp推理后半段会有噪声
https://github.com/user-attachments/assets/aa665de3-3759-478b-984b-cb59dce9af7d
目前问题定位到usp的问题
补充:之前测过Wan-T2V的usp没问题,不知道使用其他模型开usp时问题在哪里,期待解答
我又尝试了更多的case,发现打开usp时推理结果中存在噪声与seed有关
我用Wan2.1-VACE-14B做的测试,Wan2.1-VACE-1.3B也是同样的问题
| seed | 视频 | 结果是否是好的 |
|---|---|---|
| 1 | seed=1 | ✅ |
| 2 | seed=2 | ✅ |
| 3 | seed=3 | ✅ |
| 4 | seed=4 | ✅ |
| 135378 | seed=135378 | ❌ |
| 524001 | seed=524001 | ❌ |
| 890224 | seed=890224 | ❌ |
| 941634 | seed=941634 | ❌ |
我也碰到了同样的问题,请问这个问题有解决方法了吗
我在推理vace-lora时有遇到类似的问题,代码保存输出视频时没有检测是否在当前进程:
-
第7行增加:
rank = int(os.getenv("RANK", 0)) -
第28行修改为:
if rank == 0: save_video(video, "video_Wan2.1-VACE-14B.mp4", fps=15, quality=5)
希望可以帮到你