thu_yynn

I want to use some code data sets to fine-tune the basic model in the code task field. However, when I am evaluating, I hope to convert the generated reft...

如题，已经按照```cli_demo_multi_gpus.py```中的多卡设置步骤将```openai_api_demo.py```中模型的加载做以改变：  然后运行```openai_api_demo.py```，结果报错OOM，报错截图如下：  需要补充的是，我的xformers库的安装是通过本地安装，采用```pip install xformers-0.0.27+cu118-cp310-cp310-manylinux2014_x86_64.whl --no-deps```的命令，因为我已经有了 **2.3.0+cu118** 的torch和 **0.18.0+cu118** 版本的torchvision，为了不让xFormers下载新的torch和torchvision，所以我并没有安装其他的依赖项，这是否是导致OOM的可能的原因？