jinfengfeng

@songkq I got the same issue. Have you solved it?

> 可以切分到多张卡部署吗，本地测试了下单张24G的3090部署不了，想尝试下多卡 可以尝试llama.cpp，速度更快，支持多卡。