AugWrite

inference ---- out of memery

2

请问推理代码并行化demo是哪个？根据 readme这么调的，但是不行一直报错。。 CUDA_VISIBLE_DEVICES=4,5,6,7 python cli_demo_sat.py --from_pretrained /data/CogCoM/CogCoM/cogcom-chat-17b --local_tokenizer /data/CogCoM/CogCoM-main/vicuna-7b-v1.5 --fp16 --quant 8 --english --nproc_per_node 4 （服务器是8卡v100-32G） 报错： kenizer /data/CogCoM/CogCoM-main/vicuna-7b-v1.5 --fp16 --quant 8 --english --nproc_per_node 4 [2024-07-08 18:19:08,531] [INFO] [real_accelerator.py:133:get_accelerator] Setting...