视频中人物的嘴不停抖动

[sswbbd1209]

请教下，直接用模型推理和经过单视频微调后，生成的视频中人物的嘴不停抖动。这个主要是什么原因，和没有进行帧间时间序列建模有关系吗？syncnet_T这个参数可以改大吗？

[zhangyuzyy]

我们也遇到了同样的问题，这个怎么解决呢

[GUNDAM1638]

我们也遇到了高频抖动的问题，在一些情况下很严重，请问怎么解决

[Tinyyuumi]

请教下，直接用模型推理和经过单视频微调后，生成的视频中人物的嘴不停抖动。这个主要是什么原因，和没有进行帧间时间序列建模有关系吗？syncnet_T这个参数可以改大吗？

musetalk应该没有用到syncnet

[yyc25]

是的，不知道该如何解决，希望可以解答一下，谢谢

[zhangyuzyy]

在训练集中已经增加了沉默时闭嘴的数据进行训练，但还是没有改善，有什么解决方案吗

[alexhmyang]

这个问题很严重，请尽快处理

[aidenyzhang]

目前release的模型没有用sync loss, 所以没有时序信息被用到。 加了sync loss之后该问题可以被缓解。

[xiaomaofei]

嘴抖动太厉害了