GPT-SoVITS
GPT-SoVITS copied to clipboard
chore: add the ability of lru cache for api v3 to improve the inference speed when exchange model weights
#1037
@ChasonJiang 来审阅下,没问题就合了
@KevinZhang19870314 没有没试过,会不会爆显存?看起来似乎没有将weight移到内存。(在tts完之后
@KevinZhang19870314 没有没试过,会不会爆显存?看起来似乎没有将weight移到内存。(在tts完之后
可以用TTS.set_device(),在合成完之后移到cpu,要用的时候再移到gpu
@KevinZhang19870314 没有没试过,会不会爆显存?看起来似乎没有将weight移到内存。(在tts完之后
可以用TTS.set_device(),在合成完之后移到cpu,要用的时候再移到gpu
@ChasonJiang 你好,我对PyTorch实在不熟悉,按照review的提示,我修改了一版,麻烦有空看一下(或者不对也可以修改一版?)。
另外我这边暂时没有显卡设备,所以也没法测试,只在CPU机器上面测试没问题。