yuheng

做了一个基于musetalk的实时推流项目

1

https://github.com/lipku/metahuman-stream 支持musetalk的webrtc实时交互 顺便问一下 为什么不同分辨率的视频推理速度不一样，怎么提高推理速度

improve blending speed

2

原来的的cv img转成pil img在分辨率大时耗时很多，修改后直接在cv img上做blending

whisper音频特征提取速度优化

4

在实时处理中发现，音频特征提取audio_processor.audio2feat的速度跟输入音频数据大小无关，大概都要在200ms左右 因为流式处理时，每次输入的音频数据只有一个batch大小，不能太长，所以导致音频特征处理时间占用较大 请问这块有没有什么优化措施？

用独立进程做推理会把显存都耗完

1

现在想用一个独立进程提供musetalk推理服务，会把显卡24G显存都耗完。 如果不用独立进程，只占用显存12G。 这里面是因为有流水线处理吗，怎么改减小显存占用。