GPT-SoVITS icon indicating copy to clipboard operation
GPT-SoVITS copied to clipboard

吞字严重!!

Open yangjianchun opened this issue 1 year ago • 13 comments

试了几个开源项目,这个项目整体效果很好,训练合成速度很快,但是有一个非常严重的问题,吞字严重,非常不可控,希望作者能在这方面再帮改进一下,非常有潜力!!!

yangjianchun avatar Jan 29 '24 03:01 yangjianchun

加字或吞字比较严重,我现在是多换几个语音测试,有时候换了语音就好了,实在不行,就删除临时文件再测试,不知道哪里的问题

angenet avatar Jan 29 '24 03:01 angenet

遇到了同样的问题,我试了一下把GPT模型的代数减少会好点,SoVITS模型的代数对这个貌似没有什么影响。 I'm having the same issue, but reducing the epoch of the GPT model can make it perform better in my computer, and it seems that the epoch of the SoVITS model doesn't contribute to this problem.

fenggwsx avatar Jan 29 '24 09:01 fenggwsx

@fenggwsx 您好,我今天遇到了这个问题,而且我适用xtts 时也发现这个问题,请问您大概知道这个原因吗?

panxin801 avatar Jan 29 '24 12:01 panxin801

我发现输入的文字一有回车换行,推理结果就是截取引导词的后面几个字插进来。

wangfeng35 avatar Jan 29 '24 15:01 wangfeng35

昨天在作者群里,作者说新版稍有改善这个问题

angenet avatar Jan 30 '24 03:01 angenet

很棒的项目,仅zero-shot就已经效果很好,小问题很多,最致命的就是这个吞字和重复的问题,而且这些问题和提供的text内容有关系,是可以复现的。希望能尽快优化

Jeru2023 avatar Feb 03 '24 10:02 Jeru2023

很棒的项目,仅zero-shot就已经效果很好,小问题很多,最致命的就是这个吞字和重复的问题,而且这些问题和提供的text内容有关系,是可以复现的。希望能尽快优化

确实有重复问题有些严重,我fine-tune了几个模型都遇到这个问题

sixyang avatar Feb 04 '24 18:02 sixyang

看了控制台的信息,按切出来的片段做语音合成是没问题的。但是切出来的的片段就已经漏字了,是不是切片模块有问题?

gzp20182108 avatar Feb 06 '24 12:02 gzp20182108

切片筛选的时候筛选掉啊 发件人: gzp20182108 ***@***.***>日期: 星期二, 2024年2月6日 20:57收件人: RVC-Boss/GPT-SoVITS ***@***.***>抄送: Subscribed ***@***.***>主题: Re: [RVC-Boss/GPT-SoVITS] 吞字严重!! (Issue #273)看了控制台的信息,按切出来的片段做语音合成是没问题的题。切出来的的片段就已经漏字了,是不是切片模块有问题?—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

Stanley-baby avatar Feb 06 '24 15:02 Stanley-baby

"切片筛选的时候筛选掉啊”  ASR打标过程没问题, 合成音频的时候有个切片,“不切”、“50字一切”, 这个过程容易漏字

gzp20182108 avatar Feb 06 '24 16:02 gzp20182108

那解决了没?


发件人: gzp20182108 @.> 发送时间: Wednesday, February 7, 2024 12:34:51 AM 收件人: RVC-Boss/GPT-SoVITS @.> 抄送: Stanley-baby @.>; Comment @.> 主题: Re: [RVC-Boss/GPT-SoVITS] 吞字严重!! (Issue #273)

"切片筛选的时候筛选掉啊” ASR打标过程没问题, 合成音频的时候有个切片,“不切”、“50字一切”, 这个过程容易漏字

― Reply to this email directly, view it on GitHubhttps://github.com/RVC-Boss/GPT-SoVITS/issues/273#issuecomment-1930277820, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AN5RXK6IDL6KHVHP5VBLFVLYSJLSXAVCNFSM6AAAAABCOW6B5WVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTSMZQGI3TOOBSGA. You are receiving this because you commented.Message ID: @.***>

Stanley-baby avatar Feb 06 '24 20:02 Stanley-baby

那解决了没? ________________________________ 发件人: gzp20182108 @.> 发送时间: Wednesday, February 7, 2024 12:34:51 AM 收件人: RVC-Boss/GPT-SoVITS @.> 抄送: Stanley-baby @.>; Comment @.> 主题: Re: [RVC-Boss/GPT-SoVITS] 吞字严重!! (Issue #273) "切片筛选的时候筛选掉啊” ASR打标过程没问题, 合成音频的时候有个切片,“不切”、“50字一切”, 这个过程容易漏字 ― Reply to this email directly, view it on GitHub<#273 (comment)>, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AN5RXK6IDL6KHVHP5VBLFVLYSJLSXAVCNFSM6AAAAABCOW6B5WVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTSMZQGI3TOOBSGA. You are receiving this because you commented.Message ID: @.***>

没有,先反馈一下问题

gzp20182108 avatar Feb 06 '24 20:02 gzp20182108

昨天在作者群里,作者说新版稍有改善这个问题

可以拉我进作者群吗?谢谢。

jasonzhang761213 avatar Feb 12 '24 14:02 jasonzhang761213

期待尽快解决哦。

narci2018 avatar Mar 12 '24 10:03 narci2018