PaddleBoBo icon indicating copy to clipboard operation
PaddleBoBo copied to clipboard

驱动视频和静态图像的脸型不一致

Open ningpengtao-coder opened this issue 2 years ago • 8 comments

驱动视频使用方形脸,静态图像瓜子脸。生成的动态视频很不自然。有什么解决办法吗?

ningpengtao-coder avatar Apr 25 '22 05:04 ningpengtao-coder

目前没有更好的解决办法,尽量保持脸型一致并且驱动视频五官清晰

JiehangXie avatar Apr 25 '22 05:04 JiehangXie

谢谢大佬,另外提个意见。我在网上随便下载一个新闻联播的视频,貌似必须先处理视频中的人脸,不然生成的动态视频人脸会扭曲。是否把这步骤写到手册里?

import moviepy.editor as mpy import ppgan.faceutils.face_detection.detection.sfd as sfd import numpy from PIL import Image

video = mpy.VideoFileClip("/home/ai/《中共中央关于党的百年奋斗重大成就和历史经验的决议》公布.mp4").subclip("00:00:01","00:00:60")

frame = video.get_frame(1)

detector = sfd.FaceDetector()

face_rect = detector.detect_from_batch([frame])[0][0]

clip = video.crop(x1 = face_rect[0] - 50,y1 = face_rect[1] - 100,x2 = face_rect[2] + 100, y2 = face_rect[3] + 50)

clip.write_videofile("/home/ai/PaddleBoBo/file/input/1.mp4")

ningpengtao-coder avatar Apr 25 '22 05:04 ningpengtao-coder

非常欢迎,建议你fork一下,然后新建一个zhibo的文件夹,把这个文件完善一下命名为videoCrop.py,然后提一个PR,我这几天抽时间合并一下

JiehangXie avatar Apr 25 '22 05:04 JiehangXie

好的。

ningpengtao-coder avatar Apr 25 '22 05:04 ningpengtao-coder

您好,这个问题解决了吗

shihzenq avatar Jun 19 '23 13:06 shihzenq

目前生成出来的画面非常难看

shihzenq avatar Jun 19 '23 13:06 shihzenq

是的,生成的效果和实际情况差距太大了有什么好的办法

lifx2015 avatar Jan 19 '24 05:01 lifx2015

这是自动回复邮件。   您好,您的邮件已到达我的邮箱,我将尽快查阅并回复,谢谢。Hello, I have reveived your email. But due to the time differences and my busy work, perhaps I will reply to you in 24 to 48 hours.

JiehangXie avatar Jan 19 '24 05:01 JiehangXie