GPT-SoVITS icon indicating copy to clipboard operation
GPT-SoVITS copied to clipboard

chore: add the ability of lru cache for api v3 to improve the inference speed when exchange model weights

Open KevinZhang19870314 opened this issue 9 months ago • 4 comments

#1037

KevinZhang19870314 avatar May 07 '24 09:05 KevinZhang19870314

@ChasonJiang 来审阅下,没问题就合了

RVC-Boss avatar May 08 '24 09:05 RVC-Boss

@KevinZhang19870314 没有没试过,会不会爆显存?看起来似乎没有将weight移到内存。(在tts完之后

ChasonJiang avatar May 08 '24 10:05 ChasonJiang

@KevinZhang19870314 没有没试过,会不会爆显存?看起来似乎没有将weight移到内存。(在tts完之后

可以用TTS.set_device(),在合成完之后移到cpu,要用的时候再移到gpu

ChasonJiang avatar May 08 '24 10:05 ChasonJiang

@KevinZhang19870314 没有没试过,会不会爆显存?看起来似乎没有将weight移到内存。(在tts完之后

可以用TTS.set_device(),在合成完之后移到cpu,要用的时候再移到gpu

@ChasonJiang 你好,我对PyTorch实在不熟悉,按照review的提示,我修改了一版,麻烦有空看一下(或者不对也可以修改一版?)。

另外我这边暂时没有显卡设备,所以也没法测试,只在CPU机器上面测试没问题。

KevinZhang19870314 avatar May 09 '24 03:05 KevinZhang19870314