pyy1988
Results
3
comments of
pyy1988
> See https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning#finetune （？ 官方给的多卡加载模型方法load_model_on_gpus一直报错，sh配置文件中CUDA_VISIBLE_DEVICES=0添加为0,1，两卡都用上了，ptuning v2微调int8模型，其他参数不变的情况下，每张卡卡占用接近24g，看起来比官方给出的最低9G要高出不少
找到原因
同问，2张A卡可否微调