Mewral

将paddle-gpu版本改为2.3.2解决

@Jeffwan Yes, but paddle 2.3.2 has a different structure of fleet like 'paddle.fluid.xxx.fleet' not the same as 2.5.1's 'paddle.fluid.incubate.fleet'

@zh-zheng 你好，我在2张V100S上微调10B模型还是会OOM，batch size为1 采用增量微调的方式。有什么办法可以进一步降低显存消耗吗

> > @zh-zheng 你好，我在2张V100S上微调10B模型还是会OOM，batch size为1 采用增量微调的方式。有什么办法可以进一步降低显存消耗吗 > > 两张V100 16G吗？ 两张V100S 32G，因为有其他进程每张卡可用22G左右

我通过CMAKE_ARGS="-DGGML_CUBLAS=ON" pip install chatglm-cpp --force-reinstall -v 安装成功了，但是还是依然不能使用gpu进行推理， docker启动命令加了gpus=all, 加了-e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e NVIDIA_VISIBLE_DEVICES=all 还是不行。请问下是怎么回事呢？@li-plus

> 可以切分到多张卡部署吗，本地测试了下单张24G的3090部署不了，想尝试下多卡 参考deepspeed Zero stage 3