CosyVoice icon indicating copy to clipboard operation
CosyVoice copied to clipboard

看起来大家对流式语音的生成以及长文字tts的速度不满, 大家有优化后的版本么

Open chg0901 opened this issue 1 year ago • 14 comments

参考的issue

速度不满

  • #755
  • #739
  • #742
  • #723

如何优化批量流式输入输出?

  • #713
  • #700

chg0901 avatar Dec 19 '24 13:12 chg0901

其实大家主要不是不满,而是一开始提及150ms,吊足了胃口,但是最后开出来的版本距离这个值差太多,并且也没有提及任何相关信息,即使这部分不打算开源,也应该说一下

wanghuihhh avatar Dec 20 '24 06:12 wanghuihhh

插一句,https://github.com/Plachtaa/VITS-fast-fine-tuning 这个虽然功能比较少,速度很快。 用自己训练好的模型,20个汉字左右,第一次进行推理大约要6s(估计主要消耗的时间是模型加载)。 换别的文本(同样字数)再次进行推理,1s(或者更少)。之后一直保持1s左右。

中英混合的情况,训练数据需要有英文。然后推理时需要做一些特殊处理(先判断出中英文部分,然后加上语言tag再让模型推理)就能对应了。

shirubei avatar Dec 23 '24 14:12 shirubei

插一句,https://github.com/Plachtaa/VITS-fast-fine-tuning 这个虽然功能比较少,速度很快。 用自己训练好的模型,20个汉字左右,第一次进行推理大约要6s(估计主要消耗的时间是模型加载)。 换别的文本(同样字数)再次进行推理,1s(或者更少)。之后一直保持1s左右。

不足之处就是,无法支持中英混合的情况,碰到英文它只能一个一个字母地读。

感谢回复, 有没有其他性能好一点的, 能带有语气的呢

chg0901 avatar Jan 01 '25 08:01 chg0901

其实主要大家不是不满,而是一开始回调150ms,吊足了胃口,但是最后开出来的版本距离这个值差太多,而且也没有提及任何相关信息,即使这部分不打算开源,也应该说一下

速度太慢了,贼慢

moshilangzi avatar Jan 07 '25 10:01 moshilangzi

image 我拿到首包要12秒左右,你们也是这么慢吗

lessuit avatar Jan 08 '25 02:01 lessuit

achaosss avatar Jan 08 '25 03:01 achaosss

image 我拿到首包要12秒左右,你们也是这么慢吗

inference one shot是不是没加stream=True

cskkx1 avatar Jan 08 '25 06:01 cskkx1

image 我拿到首包要12秒左右,你们也是这么慢吗

inference one shot是不是没加stream=True

多谢大哥,确实没开。现在首包5秒左右了,但是流式的效果不是很好,会有明显卡顿不流畅。

lessuit avatar Jan 08 '25 08:01 lessuit

要自己加线程的代码把

achaosss avatar Jan 08 '25 14:01 achaosss

欢迎大家测试优化该项目,使用vllm加速llm部分的推理 https://github.com/qi-hua/async_cosyvoice

qi-hua avatar Feb 25 '25 15:02 qi-hua

mark

Healthyyue avatar Mar 12 '25 05:03 Healthyyue

mark

AlbertMingXu avatar Mar 31 '25 08:03 AlbertMingXu

mark

wangdabee avatar Apr 07 '25 03:04 wangdabee

mark

yuWorm avatar May 28 '25 01:05 yuWorm

非vLLM 版本流式输出效果不降,LLM推理大概610ms,flow开启trt190ms,听到第一段Speech大概810ms。

hscspring avatar Jun 19 '25 06:06 hscspring

非vLLM 版本流式输出效果不降,LLM推理大概610ms,flow开启trt190ms,听到第一段Speech大概810ms。

请问一下用的什么硬件配置,有没有教程?

tiaotiaosong avatar Jul 14 '25 09:07 tiaotiaosong

@tiaotiaosong A100哦,按官方教程稍微改改就行

hscspring avatar Jul 15 '25 01:07 hscspring