VisualGLM-6B icon indicating copy to clipboard operation
VisualGLM-6B copied to clipboard

QLoRA微调后模型推理过程中模型加载失败的情况

Open kristine-li opened this issue 1 year ago • 4 comments

image

CUDA_VISIBLE_DEVICES=1 python cli_demo.py --from_pretrained ./checkpoints/finetune-visualglm-6b-06-01-06-47/

kristine-li avatar Jun 02 '23 02:06 kristine-li

维度没对齐呀

freelancerllm avatar Jun 02 '23 02:06 freelancerllm

维度没对齐呀

这个微调之后的模型是按照脚本起来的,所有的参数是按照默认设置的。微调后就直接起python cli_demo.py了,我没有改过其他的超参数,请问这个维度应该去哪里更改?

kristine-li avatar Jun 02 '23 02:06 kristine-li

应该是模型没有放到cuda上导致的,只有model.cuda()了以后才会量化到新的维度

1049451037 avatar Jun 02 '23 03:06 1049451037

你检查一下你的显卡是不是正常,或者打印一下模型的device

1049451037 avatar Jun 02 '23 03:06 1049451037