ZJYang

很抱歉，这是一个初步开源的方案，我们会根据社区的建议逐步优化，感谢关注！

Oh yes, excluding the invalid images is crucial. Thank you so much!

#131 感谢您的关注。可以参考我们在这个issue中公开的代码，采用audio_encoder将音频特征转换为与视频帧对应的分片。

We apply Mediapipe on CPU. Since the error log is incomplete, we are unable to analyze the issue.

由于没有具体的log，因此无法判断造成该bug的原因。您可以从以下几个方面尝试排查： 1、确保依赖环境配置正确 2、预训练模型是否完整下载 3、是否正确加载所有我们的预训练权重 https://huggingface.co/ZJYang/AniPortrait/tree/main 4、使用我们的测试音频./configs/inference/audio/lyl.wav，判断您的测试音频格式是否异常

> 我也遇到了同样的问题，推理结果为噪声。 > > solo_solo_pose_512x512_3_0935.mp4 > log如下： > > ``` > python -m scripts.pose2vid --config ./configs/prompts/animation.yaml -W 512 -H 512 > Some weights of the model checkpoint were not used...

> > solo_solo_pose1_512x512_3_1438_noaudio.mp4 > > 我们复现了您反馈的问题。 触发条件没有正确加载我们预训练权重，导致模型参数跟我们的任务不匹配。 您可以重新下载我们的预训练模型，并确保其位于正确路径下，详情参考README.md。 https://huggingface.co/ZJYang/AniPortrait/tree/main > > 感谢您的回复，请问复现的这段视频是哪部分模型参数没有加载正确呢？我参考了本repo中的预训练模型目录，我的目录如下，看上去和您给的readme一致：  可以检查模型文件大小是否正常，当git lfs clone过程存在异常时，可能出现文件下载不完整的问题。

#40 参考该issue，可能为环境配置异常。

近期我们会上传新的预训练权重来尝试解决这一问题。

> Check you have the same as this here https://huggingface.co/spaces/ZJYang/AniPortrait_official/tree/main/pretrained_model Yes, please make sure the pretrained_model file is complete. And you can re-download [stable-diffusion-v1-5](https://huggingface.co/runwayml/stable-diffusion-v1-5)