MuseTalk icon indicating copy to clipboard operation
MuseTalk copied to clipboard
verified publisher icon TMElyralab

为什么训练模型时在val生成的图像很好，但是在推理时生成的视频会产生明显的伪影？（嘴巴糊成一团）

Open Wangwenjing520 opened this issue 8 months ago • 8 comments

Wangwenjing520 avatar Apr 21 '25 09:04 Wangwenjing520

@Wangwenjing520 您训练了多少steps呢，有测试输出的视频case吗？

zzzweakman avatar Apr 22 '25 08:04 zzzweakman

我的数据量比较少，在一阶段训练接140000steps，在二阶段训练了16000steps，验证的时候唇部是很好的，推理就能这个样子了

https://github.com/user-attachments/assets/e37b850f-0226-447b-b54d-4035d780c5ab

Wangwenjing520 avatar Apr 24 '25 05:04 Wangwenjing520

我的数据量比较少，在一阶段训练接140000steps，在二阶段训练了16000steps，验证的时候唇部是很好的，推理就能这个样子了

yongen_yongen.mp4

请问这个问题解决了吗？其他形象推理也是这样吗？

czk32611 avatar Apr 30 '25 05:04 czk32611

我的数据量比较少，在一阶段训练接140000steps，在二阶段训练了16000steps，验证的时候唇部是很好的，推理就能这个样子了 yongen_yongen.mp4

请问这个问题解决了吗？其他形象推理也是这样吗？

是的，其他形象推理也是这样的。我依照训练重新写了推理代码后，现在已经解决了。

Wangwenjing520 avatar Apr 30 '25 05:04 Wangwenjing520

我也遇到相同的问题，请问主要是哪里出了问题

segmentationFaults avatar May 21 '25 06:05 segmentationFaults

找到问题了，我这边问题是finetune的时候yaml 有个init 的参数没改导致重新初始化了模型，改完之后正常

segmentationFaults avatar May 29 '25 04:05 segmentationFaults

遇到相同的问题，在验证集上效果正常，推理时脸部变得很模糊

JackeyDeng avatar Jul 07 '25 09:07 JackeyDeng

找到问题了，我的问题是finetune的时候yaml有个init的参数没改导致初始化重新了模型，改完之后就正常了

请问是哪个yaml文件，我也遇到这个问题了

WangWussm avatar Aug 11 '25 10:08 WangWussm