Real3DPortrait icon indicating copy to clipboard operation
Real3DPortrait copied to clipboard

我尝试实现 视频到视频的推理,结果很差

Open zhanghongyong123456 opened this issue 1 year ago • 1 comments

1.我实现视频到视频的推理,将 处理参考图像的代码,修改为处理视频帧代码,测试结果很差,有什么方法能提高效果吗? 这是 视频到视频推理:

https://github.com/user-attachments/assets/dfc1b295-596d-49b6-994f-ebb4d4b8e65f

这是 图片到视频的推理效果:

https://github.com/user-attachments/assets/3e2d183c-8a5e-48d6-97cc-e2aef8c00af3

这是我代码修改主要地方,请大佬指点

  1. 对于函数 prepare_batch_from_inp 遍历参考视频每一帧合并得到sample字典信息: image
  2. 修改函数 get_driving_motion ,参照drv_secc_colors 处理方法,处理了 src_secc_colors和cano_secc_colors ,

zhanghongyong123456 avatar Aug 24 '24 09:08 zhanghongyong123456

hi, have u figured it out?

lvZic avatar Dec 12 '24 07:12 lvZic