两张A100（共80G显存）测试openai_api_demo.py时报错OOM

[thu-yn]

如题，已经按照cli_demo_multi_gpus.py中的多卡设置步骤将openai_api_demo.py中模型的加载做以改变：

然后运行openai_api_demo.py，结果报错OOM，报错截图如下：

需要补充的是，我的xformers库的安装是通过本地安装，采用pip install xformers-0.0.27+cu118-cp310-cp310-manylinux2014_x86_64.whl --no-deps的命令，因为我已经有了 2.3.0+cu118 的torch和 0.18.0+cu118 版本的torchvision，为了不让xFormers下载新的torch和torchvision，所以我并没有安装其他的依赖项，这是否是导致OOM的可能的原因？