MuseTalk icon indicating copy to clipboard operation
MuseTalk copied to clipboard

侧脸时口部区域会出现模糊

Open zzqwdwd opened this issue 1 year ago • 5 comments

每次脸部发生扭动时口部区域会产生模糊,请问遇到这种情况该怎么解决呢

https://github.com/TMElyralab/MuseTalk/assets/77482412/9528da58-a78f-4d8e-9821-4f7326019177

zzqwdwd avatar May 08 '24 08:05 zzqwdwd

hello,目前这个问题可能不好解决,因为所用的训练集不包含这种侧脸情况。

czk32611 avatar May 09 '24 01:05 czk32611

hello,目前这个问题可能不好解决,因为所用的训练集不包含这种侧脸情况。

我在之前另外一个此类项目中,发现更换人脸检测器会使生成的效果有所提升。我在代码中有看到像yolov8这样的人脸检测器,但是好像并没有被用到。请问更换像yolov8类似的人脸检测器会对结果有帮助吗,或者更换人脸检测器会有什么影响吗?

zzqwdwd avatar May 09 '24 05:05 zzqwdwd

当遇到侧脸的时候,生成的视频会断掉,后续的正脸嘴型就不会生成,如何解决这个问题呢 @czk32611

liuzysy avatar May 10 '24 06:05 liuzysy

hello,目前这个问题可能不好解决,因为所用的训练集不包含这种侧脸情况。

我在之前另外一个此类项目中,发现更换人脸检测器会使生成的效果有所提升。我在代码中有看到像yolov8这样的人脸检测器,但是好像并没有被用到。请问更换像yolov8类似的人脸检测器会对结果有帮助吗,或者更换人脸检测器会有什么影响吗?

应该不会有改善。这里的主要问题是口型生成时对侧脸支持不好,而不是没检测出人脸

czk32611 avatar May 15 '24 03:05 czk32611

hello,目前这个问题可能不好解决,因为所用的训练集不包含这种侧脸情况。

我在之前另外一个此类项目中,发现更换人脸检测器会使生成的效果有所提升。我在代码中有看到像yolov8这样的人脸检测器,但是好像并没有被用到。请问更换像yolov8类似的人脸检测器会对结果有帮助吗,或者更换人脸检测器会有什么影响吗?

应该不会有改善。这里的主要问题是口型生成时对侧脸支持不好,而不是没检测出人脸

好的知道了,非常感谢你的回答

zzqwdwd avatar May 15 '24 03:05 zzqwdwd