XXXXRT666
XXXXRT666
`if(infer_device=="cpu"):is_half=False` config.py较末尾处还有此判断,所以并未对config.py进行修改。
我看看,我之前直接用cpu训练了一会,能行之后就没去管了
确实,pytorch nightly已经支持cpu的fp16和bf16,我去修改一下issue ``` 使用设备: cpu 测试 float16... float16 计算结果: tensor([[ 0.6587, -2.6523, -0.3630], [-0.2139, 1.3877, 2.5547], [-1.4600, -4.8594, -0.4915]], dtype=torch.float16) float16 测试成功,没有错误。 测试 bf16... bf16 计算结果: tensor([[ 0.6641, 1.0156, -0.0045],...
实测可行,但不知为何在提高了CPU占用的情况下降低了推理速度,内存占用降低明显
半861字,四句一切,半精度cpu用时36分钟
也许是preview版本的问题,不知道在之后会不会改善
> 我刚才测试了一下,发现半精度推理时长比全精度高好多,在很多地方会卡住,所以暂时在Mac上推理还是使用全精度吧,你这个PR直接合并就可以了 对,句子间卡顿特别严重,我估算了下卡顿时间比实际推理的时间长上许多
Mac M系列使用opencc: ``` pip uninstall opencc pip install opencc-python-reimplemented ```
> Mac M系列使用opencc: > > ``` > pip uninstall opencc > pip install opencc-python-reimplemented > ``` 直接安装opencc会在开启推理webUI时产生如下报错: ``` "/opt/anaconda3/envs/GPTSoVITS/bin/python" GPT_SoVITS/inference_webui.py 当前使用g2pw进行拼音推理 Traceback (most recent call last): File "/Users/zhongruntong/Desktop/GPT-SoVITS fast inference...
我没看到他有任何报错,它自动切换成MPS了