SyncTalk icon indicating copy to clipboard operation
SyncTalk copied to clipboard

Published 20 hours ago • verified publisher icon ZiqiaoPeng

关于audio_visual_encoder.pth训练问题

Open yulj21 opened this issue 9 months ago • 6 comments

@ZiqiaoPeng 作者是否可以开源下audio_visual_encoder.pth这个模型的训练代码，这边采用中文训练后嘴唇拟合度不是很高，想用中文数据集重新训练下audio_visual_encoder

yulj21 avatar May 09 '24 03:05 yulj21

@ZiqiaoPeng 感谢您的工作！和上面一样，同求训练audio_visual_encoder.pth的训练代码，或者pth来源，谢谢您！

2hiTee avatar May 21 '24 07:05 2hiTee

@ZiqiaoPeng 作者是否可以开源下audio_visual_encoder.pth这个模型的训练代码，这边采用中文训练后嘴唇拟合度不是很高，想用中文数据集重新训练下audio_visual_encoder

请问您知道怎么重新训练了吗

2hiTee avatar May 21 '24 07:05 2hiTee

中文的话建议用hubert特征训练，训练结果还可以

yulj21 avatar May 21 '24 07:05 yulj21

中文的话建议用hubert特征训练，训练结果还可以

谢谢您！如果可以的话，能请您告诉一下audio_visual_encoder.pth的来源吗？谢谢您！

2hiTee avatar May 21 '24 07:05 2hiTee

这个我也不知道 作者没提供 论文里提了一嘴 可以看下参考论文

yulj21 avatar May 21 '24 07:05 yulj21

+1

Sprinkle0 avatar Jul 16 '24 10:07 Sprinkle0