MuseTalk icon indicating copy to clipboard operation
MuseTalk copied to clipboard

请问 使用realtime_inference,支持实时生成,并流式输出吗????

Open SevenMpp opened this issue 1 year ago • 6 comments

请问 使用 realtime_inference 应该如何接视频流进行播放呢???? 其中的 realtime_inference.py 中的 inference 函数没看到哪里有实时生成和流式输出,请问其中的res_frame就是实时生成的结果吗???如果:skip_save_images is false,那么跳过,视频生成,那么如果接相关的视频流呢??? image

SevenMpp avatar Jun 18 '24 11:06 SevenMpp

同样在纠结这个问题,有想法了么😂

wangwei10061 avatar Jul 29 '24 14:07 wangwei10061

生成好图片帧后,自己拿这个图片和语音去进行视频推流

ppttfish avatar Aug 06 '24 10:08 ppttfish

生成好图片帧后,自己拿这个图片和语音去进行视频推流

怎么做啊,有没有参考的代码或者项目?

lc222 avatar Sep 09 '24 08:09 lc222

生成好图片帧后,自己拿这个图片和语音去进行视频推流

怎么做啊,有没有参考的代码或者项目?

流式输出能做到,他按帧生成的图片,拿这个帧去推流就行了,但这个模型不支持流式输入

Jerry-723 avatar Sep 20 '24 02:09 Jerry-723

生成好图片帧后,自己拿这个图片和语音去进行视频推流

怎么做啊,有没有参考的代码或者项目?

流式输出能做到,他按帧生成的图片,拿这个帧去推流就行了,但这个模型不支持流式输入

realtime模型不支持流式输入吗,我想传入音频流

gym02 avatar Dec 23 '24 08:12 gym02

生成好图片帧后,自己拿这个图片和语音去进行视频推流

我试过了,推理速度完全跟不上,无法保证实时性

gym02 avatar Apr 11 '25 03:04 gym02