DiffuseStyleGesture icon indicating copy to clipboard operation
DiffuseStyleGesture copied to clipboard
verified publisher icon YoungSeng

请问支持中文语音吗？是否需要自己训练？

Open cacard opened this issue 1 year ago • 2 comments

您好，请问该模型是否有预训练数据？是否支持中文？ 如果我用自己的中文数据训练，是否支持（中文）？

cacard avatar Mar 15 '24 01:03 cacard

预训练数据具体是指？

DiffuseStyleGesture 是在ZEGGS上训练的，DiffuseStyleGesture+是在 BEAT 还有TWH上训练的；推理可以用中文的语音但是效果一般，毕竟训练数据集中没有见过中文，且WavLM也是英文的预训练特征

BEAT 有中文数据集你可以试着训练一下

YoungSeng avatar Mar 15 '24 02:03 YoungSeng

那有没有什么中文语音的特征检测模型可以代替WavLM的嘛？

zjyzjy361 avatar Oct 22 '24 11:10 zjyzjy361