bark icon indicating copy to clipboard operation
bark copied to clipboard

Chinese audio with a strong foreign accent

Open YiQiu1984 opened this issue 2 years ago • 8 comments

The Chinese audio generated by Bark with a strong foreign accent, even though I have used the model of zh_speaker0~9, like this: audio_array = generate_audio(text_prompt, history_prompt="v2/zh_speaker_8"). I wonder if there is any way to solve this problem.

YiQiu1984 avatar May 19 '23 02:05 YiQiu1984

The Chinese audio generated by Bark with a strong foreign accent, even though I have used the model of zh_speaker0~9, like this: audio_array = generate_audio(text_prompt, history_prompt="v2/zh_speaker_8"). I wonder if there is any way to solve this problem.

You can hear zh_speaker0~9 in voice prompt library, these voice sound like "foreigner speak chinese"

LinaSunny avatar May 19 '23 06:05 LinaSunny

如果从新闻联播取素材来训练,应该不会有这种效果。

lededev avatar May 19 '23 07:05 lededev

如果从新闻联播取素材来训练,应该不会有这种效果。

有数据集吗?

943fansi avatar May 20 '23 07:05 943fansi

有数据集吗?

没有,话说新闻联播用英语应该怎么表达,CCTV-1 7:00pm News of China?

lededev avatar May 20 '23 11:05 lededev

bark的一堆npz好像只是说话的人的音调,但是不包含字的发音,要不然几秒钟的样本根本没法包括全部文字

所以要解决中文口音问题,不是训练个人 npz,而是训练文字本身发音?bark 好像两种都没公开呢

duchengxian avatar May 22 '23 02:05 duchengxian

bark的一堆npz好像只是说话的人的音调,但是不包含字的发音,要不然几秒钟的样本根本没法包括全部文字

所以要解决中文口音问题,不是训练个人 npz,而是训练文字本身发音?bark 好像两种都没公开呢

没看到有训练的示例或者代码,也没有找到相关的文档

YiQiu1984 avatar May 22 '23 02:05 YiQiu1984

还是用PaddleSpeech吧,至少中英文的发音都很正常,也支持从零开始训练,和这个项目的区别是apache license,这个项目我暂时只能保持关注,等待下一步的进展。

lededev avatar May 22 '23 11:05 lededev

bark的一堆npz好像只是说话的人的音调,但是不包含字的发音,要不然几秒钟的样本根本没法包括全部文字

所以要解决中文口音问题,不是训练个人 npz,而是训练文字本身发音?bark 好像两种都没公开呢

所以训练npz文件并不会将声音中的电流杂音消除?

omtrix avatar May 23 '23 07:05 omtrix