MuseTalk icon indicating copy to clipboard operation
MuseTalk copied to clipboard
verified publisher icon TMElyralab

实时推理的结果如何实时查看

Open mike2001 opened this issue 6 months ago • 6 comments

realtime推理也只能等最后合成后才输出视频文件，能否实时的输出？

mike2001 avatar Jun 08 '25 04:06 mike2001

Realtime 有实时帧输出，可以结合原始音频做同步，目前我这边是这么做的，不知道有没有更好的方法？

noahxzhu avatar Jun 09 '25 11:06 noahxzhu

Realtime 有实时帧输出，可以结合原始音频做同步，目前我这边是这么做的，不知道有没有更好的方法？

获取实时帧输出后，用什么方法合成呢？

mike2001 avatar Jun 10 '25 00:06 mike2001

Realtime 有实时帧输出，可以结合原始音频做同步，目前我这边是这么做的，不知道有没有更好的方法？

获取实时帧输出后，用什么方法合成呢？

你可以看下 realtime_inference.py 里面 process_frames 的代码，对于音视频同步，可以自己通过音频时长，和生成帧数计算时间戳

noahxzhu avatar Jun 10 '25 06:06 noahxzhu

Realtime 有实时帧输出，可以结合原始音频做同步，目前我这边是这么做的，不知道有没有更好的方法？

获取实时帧输出后，用什么方法合成呢？

你可以看下 realtime_inference.py 里面 process_frames 的代码，对于音视频同步，可以自己通过音频时长，和生成帧数计算时间戳

能不能给个demo ，同步后不知道怎么输出。最后还是要等ffmpeg合成完成mp4文件才能输出，并没有实时。

mike2001 avatar Jun 11 '25 00:06 mike2001

我这边做了基于musetalk的实时同步输出以及视频帧 但是目前muse的实时模型在一些模板视频上效果不太好，头晃动的时候嘴部会花，可以留个联系方式讨论一下

xub69961415 avatar Aug 22 '25 06:08 xub69961415

Realtime 有实时帧输出，可以结合原始音频做同步，目前我这边是这么做的，不知道有没有更好的方法？

获取实时帧输出后，用什么方法合成呢？

你可以看下 realtime_inference.py 里面 process_frames 的代码，对于音视频同步，可以自己通过音频时长，和生成帧数计算时间戳

能不能给个demo ，同步后不知道怎么输出。最后还是要等ffmpeg合成完成mp4文件才能输出，并没有实时。

同步后音视频要单独输出的

xub69961415 avatar Aug 25 '25 02:08 xub69961415