inference icon indicating copy to clipboard operation
inference copied to clipboard

FEAT: support GPT-SoVITS

Open dgedanke opened this issue 1 year ago • 9 comments

Feature request / 功能建议

目前,Xinference 文字转语音的大模型有以下三个:

  • ChatTTS
  • CosyVoice
  • FishSpeech

FishSpeech 是最近加的

能否增加一些 TTS 大模型呢,比如说 GPT-SoVITS,OpenVoice 等,或者说可以自行注册其他的 TTS 大模型

Motivation / 动机

能否增加一些 TTS 大模型,或者可以自行注册其他的 TTS 大模型呢

Your contribution / 您的贡献

能否增加一些 TTS 大模型,或者可以自行注册其他的 TTS 大模型呢

dgedanke avatar Aug 30 '24 06:08 dgedanke

自定义是很困难的,TTS 这块没有什么标准实现。可能需要一个个支持。也欢迎有能力的社区开发者一起来参与支持。

qinxuye avatar Aug 30 '24 07:08 qinxuye

自定义是很困难的,TTS 这块没有什么标准实现。可能需要一个个支持。也欢迎有能力的社区开发者一起来参与支持。

有个想法,不知道行不行

Dify 可以通过 Xinference 部署 ChatTTS,CosyVoice 来使用文字转语音功能,我们可以通过 Xinference 的接口直接使用 ChatTTS,CosyVoice

requests.post('http://127.0.0.1:9997/v1/audio/speech',
    headers={'accept': 'application/json','Content-Type': 'application/json'},
    data=json.dumps({
    "model": "ChatTTS",
    "input": "练得身形似鹤形,千株松下两函经,我来问道无余说,云在青天水在瓶",
    "voice": "default",
    "stream":True
  })).content

或者

curl -X 'POST' 'http://127.0.0.1:9997/v1/audio/speech' -H 'accept: application/json' -H 'Content-Type: application/json' -d '{"model": "CosyVoice-300M-SFT", "input": "练得身形似鹤形,千株松下两函经,我来问道无余说,云在青天水在瓶", "voice": "中文女"}'

model 目前只能用 Xinference 支持的那几个 TTS 模型

3

我现在想用 GPT-SoVits,并对外提供了 GPT-SoVits 的接口

当我尝试通过 Xinference 去使用 GPT-SoVits 的文字转语音功能时,实际上 Xinference 做了一层转发,去访问 GPT-SoVits 的接口,拿到音频流后再返回

相当于 Xinference 是中转站,这样能支持更多的模型,有个统一的接口平台,Dify 里面用就更方便了,不知道这样行不行

dgedanke avatar Aug 30 '24 08:08 dgedanke

我们专注在本地支持部署模型,转发的不在我们考虑范围内。

qinxuye avatar Aug 30 '24 08:08 qinxuye

我们专注在本地支持部署模型,转发的不在我们考虑范围内。

后续会考虑本地支持部署 GPT-SoVITS 模型嘛

dgedanke avatar Aug 30 '24 09:08 dgedanke

在计划中。

qinxuye avatar Aug 30 '24 09:08 qinxuye

This issue is stale because it has been open for 7 days with no activity.

github-actions[bot] avatar Sep 10 '24 19:09 github-actions[bot]

This issue was closed because it has been inactive for 5 days since being marked as stale.

github-actions[bot] avatar Sep 16 '24 19:09 github-actions[bot]

We plan to support GPT-SoVITS.

qinxuye avatar Sep 23 '24 04:09 qinxuye

This issue is stale because it has been open for 7 days with no activity.

github-actions[bot] avatar Oct 01 '24 19:10 github-actions[bot]

This issue was closed because it has been inactive for 5 days since being marked as stale.

github-actions[bot] avatar Oct 06 '24 19:10 github-actions[bot]

@qinxuye GPT-SoVITS 支持了没,哥?

jinec avatar Jun 05 '25 09:06 jinec

目前应该没支持。

qinxuye avatar Jun 05 '25 09:06 qinxuye