KlausSH
KlausSH
你好，请问你的swift infer和swift deploy可以用多卡吗？我没找到设置NPU多卡的参数
> 我也有同样的问题，虽然挂了4张卡，但是最后只用了npu:0然后内存不够了 用`swift infer`里的`merge-lora`功能，合并出来的权重再用其他框架推理，比如`mindie`
> 好吧好吧 感谢 黄大佬说等半个月swift3.0出来能支持多卡推理 https://klaus-duan.github.io/2024/09/28/利用swift和mindie在多卡NPU上微调-推理-部署大模型/
> > > 好吧好吧 感谢 黄大佬说等半个月swift3.0出来能支持多卡推理 > > > > > > [https://klaus-duan.github.io/2024/09/28/利用swift和mindie在多卡NPU上微调-推理-部署大模型/](https://klaus-duan.github.io/2024/09/28/%E5%88%A9%E7%94%A8swift%E5%92%8Cmindie%E5%9C%A8%E5%A4%9A%E5%8D%A1NPU%E4%B8%8A%E5%BE%AE%E8%B0%83-%E6%8E%A8%E7%90%86-%E9%83%A8%E7%BD%B2%E5%A4%A7%E6%A8%A1%E5%9E%8B/) > > 大佬，链接挂了，可以重新发一下嘛 我把地址又改回来了，你重新试一下。最新版的swift还是不能多卡推理吗？我也好久没用了