itechmusic

@dabaonidetou 你也可以直接进入diffusers目录，确认切换分支为tme分支

Hello，延时有很大部分是存储png所致的。目前的代码逻辑是，batch=4推理UNet与VAE，同时会有单独线程进行图片拼接与存储png。进度条播放完其实已经生成完了，后续是拼接与存png的时间 你这边看起来没有开单独线程进行存储？

hello，不好意思，目前发现这个脚本有些bug，速度不太正常。我们正在修复

目前代码已经修复，加入了float16使推理速度达到30fps+。速度会受I/O影响，可以使用`python -m scripts.realtime_inference --inference_config configs/inference/realtime.yaml --skip_save_images`命令跳过保存png，单纯体验推理速度。

> hi，经过测试后，skip_save_images看起来并没有减少I/O的损失，测试的日志如下： > > * 硬件：V100 * 1； > * 样例：测试case中的sun视频+音频。 > * 存图片 > > > * 不存图片 > > hello，第一次运行时可能会有模型warm up导致的耗时。这是我们在V100上用`batch_size=8`的结果 

> 感谢~ 依照测试，warmup的问题确实会一定程度上影响Infer速率，我依照你的测试配置，跑了几版测试，但fps还是远低于图例，请问其中差距 问题大概在哪呢？ > > * 测试视频 sun.mp4，测试音频[yongen.wav, sun.wav, yongen.wav, sun.wav]，已提前进行avater抽取 > * 硬件v100-SXM2-32GB * 1, bs=8 > > 有点不知道原因。。。请问有试过换一张卡测试吗？

 I tried and it work for me. After I resized the image from 667 x 741 to 666 x 740, I got this result https://github.com/TMElyralab/MuseTalk/assets/163980830/a7ca806b-6302-4893-a007-14892039fbbd

> (recon = vae.decode_latents(pred_latents)) Sorry, we are not familiar with coding on Windows 11. As you identify that the issue occurs at `(recon = vae.decode_latents(pred_latents))`, maybe you can try decoding...

感觉是一个特别棒的建议！我们认真尝试一下这个方案

> > @JustinB-AB Hi, is there any more hints about your environment running docker? > > It's a windows 10 machine, Nvidia GPU. hi, the docker is based on linux....