XXXXRT666
XXXXRT666
请问大佬对于为何M系列芯片CPU推理更快是否有想法？我测试过Amd和Intel的CPU推理，其效果均不如Mac的Cpu，推理速度远低于MPS推理
是的，我刚实验时发现了个问题，会出现半精度错误，好像M系列芯片is_half判断结果为True，所以还要pr把is_half改一下 我是M2 8G macos14.3.1
将inference_webui.py中`is_half = eval(os.environ.get("is_half", "True")) `->`is_half = eval(os.environ.get("is_half", "True")) and not torch.backends.mps.is_available()`并将`import torch`提前可解决，config中由于当设定为cpu推理时is_half自动为False，无需修改
`if(infer_device=="cpu"):is_half=False` config.py较末尾处还有此判断
Sonoma得到类似结果，估计我的torch版本不支持bf16 ``` 使用设备: mps 测试 float16... float16 计算结果: tensor([[ 1.9229, 2.0703, -1.1650], [-0.8335, 1.1064, -0.4231], [ 0.8765, 0.9316, -0.5986]], device='mps:0', dtype=torch.float16) float16 测试成功，没有错误。 测试 bf16... bf16 测试失败: BFloat16 is not...
> > 只改了infer_webui.py ，有必要改config吗？看了一下好像只有api会调用config的里面的device， 另外我的版本是python3.11 torch版本如下，不知道有没有影响，就是说我的版本都弄成了最新的 Successfully installed torch-2.3.0.dev20240221 torchaudio-2.2.0.dev20240221 > > 我试了下把config.py改回mps，速度确实慢了……你改一下试试？ 另外我记得README写着：Note: numba==0.56.4 require py
> > Sonoma得到类似结果，估计我的torch版本不支持bf16 > > ``` > > > > 使用设备: mps > > > > 测试 float16... > > float16 计算结果: > > tensor([[ 1.9229, 2.0703, -1.1650], > >...
刚开了一下本地训练，发现无报错，训练不了，不知道是否是我内存不够还是torch版本问题
> > > > Sonoma得到类似结果，估计我的torch版本不支持bf16 > > > > ``` > > > > > > > > 使用设备: mps > > > > > > > > 测试 float16......
我去试试看 依据#290 的改法能不能跑