Zhizhou Zhong comments

Results 30 comments of


                                            Zhizhou Zhong

模型训练

@liangxs123456 是的，1.0和1.5模型都使用了HDTF作为训练集。

训练时的一些问题

@QUTLiJingxiao 你好，你可以尝试（1）去掉try catch模块，检查具体的报错（2）[尝试print error类型](https://github.com/TMElyralab/MuseTalk/blob/main/musetalk/data/dataset.py#L342C23-L342C24)（3）收集这些错误的路径，进一步查看这些视频

模型训练中出现的问题

你好@lmc710731910, 从这个log看起来，（1）有一些mp4过短了（2）有一些音频文件读取失败了（3）有些视频中的人脸分辨率过低。您可以pick一些失败的case进行查看，在另一个代码中测试这些文件是否能被正确读入

win os, python app.py --use_float16 An error occurred while trying to fetch models\sd-vae: Error no file named diffusion_pytorch_model.safetensors found in directory models\sd-vae.

Hi @huahuacaocao, you can download it manually from [here](https://huggingface.co/stabilityai/sd-vae-ft-mse/tree/main).

mac mini m4能否运行

@codestart-zhu 16G的版本足够运行MuseTalk，经过我们的测试，windows环境4G显存都能运行gradio，我们会在未来更新mac的支持

Got Cuda error while creating new avatar from mp4 video

Hi @shekharmeena2896, You can try to set this [argument](https://github.com/TMElyralab/MuseTalk/blob/main/scripts/realtime_inference.py#L330) to a lower value : )

Animals mode构建MultiScaleDeformableAttention报错

您好 @JuLian1130 ，您需要卸载cuda 11.8版本的torch，建议您重新创建一个环境，并下载对应您机器上cuda版本的torch(12.4)，才能正确编译。 Hi @JuLian1130 , you need to uninstall the torch version that is installed with CUDA 11.8. I recommend that you create a new environment and download...

Animals mode构建MultiScaleDeformableAttention报错

To experience the animals feature😸, Linux users **must** install the torch version that corresponds to their machine's CUDA version.

请问 musetalk 是否支持，使用自定义的人物视频进行微调?

@logicthinkedu 您好，我们暂未探索过这个功能，不过您可以尝试自行制作数据集进行微调