LiveTalking icon indicating copy to clipboard operation
LiveTalking copied to clipboard

透明背景或抠图换背景

Open maceygo opened this issue 7 months ago • 2 comments

想实现自定义数字人更换背景,是需要给视频手动抠图换背景后重新训练数字人吗,还是有更合适的方式?

maceygo avatar Apr 30 '25 06:04 maceygo

如果是用musetalk模型,最经济方式就是,提前准备好一个带有背景的数字人静默视频,然后用musetalk预推理得到数据使用。有一点需要说明的是,如果背景图相对视频的分辨率较大,可以将背景裁剪并resize出和视频分辨率一样的背景图片,然后换到静默视频里。

liuxiaohan00 avatar Apr 30 '25 09:04 liuxiaohan00

直接在视频里将人抠出来换背景 处理完的视频人物的周边会有一圈线条 显得不太自然

wz96cj avatar May 15 '25 06:05 wz96cj

bvmv2 real time Bvmv2实时

这是什么? 有解决方案吗

helloGig avatar Jun 04 '25 06:06 helloGig

一种方式是直接前端扣掉,这种是你是绿幕的情况下色键直接扣掉。另一种是你视频是有背景的用BackgroundMattingV2先去取背景再替换合成绿幕视频然后前端扣掉。还有一种就是实时的BackgroundMattingV2(看issues)可以实时的去背景然后你指定视频替换可以这么处理先合成视频然后再走一下BVMv2然后再把视频推上去。但是最常用的还是前端扣。我们是这样做的

你们目前采用的方案效果怎么样

helloGig avatar Jun 05 '25 08:06 helloGig

我们是真人的绿幕所以前端扣掉的

前端是怎么扣绿幕的?我看网上说是用webGl?

helloGig avatar Jun 06 '25 08:06 helloGig