GPT-SoVITS icon indicating copy to clipboard operation
GPT-SoVITS copied to clipboard

合成音频支持并发吗?

Open leiyuyh opened this issue 1 year ago • 4 comments

使用api.py起的服务支持并发吗?

leiyuyh avatar Feb 21 '24 06:02 leiyuyh

@Miuzarte

RVC-Boss avatar Feb 21 '24 10:02 RVC-Boss

有点不太理解你的意思,并发是指web请求的并发?如果是这个涵义,那不存在是否支持的概念,只是并发的高低而已。 如果是说能多线程并行推理,那这个问题通常是受限于GPU的算力,推理核心代码是get_tts_wav这个函数, API接口只是提供了一个接受参数,然后返回结果的功能。如果要公网部署,或者可以用nginx转发一下,nginx的负载均衡和后端的弹性部署,或者能解决你的问题。

再者,这个项目讨论的是音频合成技术,可能只提供核心就是项目的边界,不认为项目需要考虑诸如并发的问题。(个人看法

ben0oil1 avatar Feb 21 '24 10:02 ben0oil1

FastAPI应该是支持并发的

没测过

Miuzarte avatar Feb 21 '24 10:02 Miuzarte

有点不太理解你的意思,并发是指web请求的并发?如果是这个涵义,那不存在是否支持的概念,只是并发的高低而已。 如果是说能多线程并行推理,那这个问题通常是受限于GPU的算力,推理核心代码是get_tts_wav这个函数, API接口只是提供了一个接受参数,然后返回结果的功能。如果要公网部署,或者可以用nginx转发一下,nginx的负载均衡和后端的弹性部署,或者能解决你的问题。

再者,这个项目讨论的是音频合成技术,可能只提供核心就是项目的边界,不认为项目需要考虑诸如并发的问题。(个人看法

受教了

leiyuyh avatar Feb 22 '24 03:02 leiyuyh

@ben0oil1 有资源的话直接多实例,那肯定可以的。

wawaa avatar Mar 01 '24 01:03 wawaa