GPT-SoVITS fast_inferenc分支的多线程推理

fast_inferenc分支的多线程推理

Open thom802311 opened this issue 1 year ago • 3 comments

trafficstars

我用的fast_inferenc分支的推理，用threading开8个线程调用TTS的run方法生成语音，显卡只用了30%，但是推理速度比单个线程推理下降了很多。

Mar 19 '24 09:03 thom802311

cuda加速不支持多线程/进程，多线程后相互竞争资源反而会很慢

https://github.com/RVC-Boss/GPT-SoVITS/issues/779#issuecomment-1999137227

Mar 19 '24 14:03 SapphireLab

cuda加速不支持多线程/进程，多线程后相互竞争资源反而会很慢

#779 (comment)

什么意思，大佬，意思在有GPU的服务器上，多进程/线程进行推理，并不快吗

Mar 20 '24 07:03 ZhangJianBeiJing

我用的fast_inferenc分支的推理，用threading开8个线程调用TTS的run方法生成语音，显卡只用了30%，但是推理速度比单个线程推理下降了很多。

会不会多线程只是对CPU资源的调度，而CPU子线程调用gpu资源还是同一个CUDA实例，没有起到什么实际意义

Mar 24 '24 18:03 ben0oil1