VisualGLM-6B
VisualGLM-6B copied to clipboard
能不能指定某个单卡训练
我有两个卡,想使用1卡进行微调 ,但是不管是export CUDA_VISIBLE_DEVICES=1还是运行脚本前加上CUDA_VISIBLE_DEVICES=1,模型始终会调用0卡,显示信息如下:
hao好像是默认设置的,但是又不知道在哪改(哭死)
https://github.com/THUDM/VisualGLM-6B/blob/main/finetune/finetune_visualglm_qlora.sh#L55
--include localhost:0
改成对应的卡号,也可以多卡,比如--include localhost:2,3,4
https://github.com/THUDM/VisualGLM-6B/blob/main/finetune/finetune_visualglm_qlora.sh#L55
--include localhost:0
改成对应的卡号,也可以多卡,比如--include localhost:2,3,4
谢谢,可以用了
https://github.com/THUDM/VisualGLM-6B/blob/main/finetune/finetune_visualglm_qlora.sh#L55
--include localhost:0
改成对应的卡号,也可以多卡,比如--include localhost:2,3,4
lora微调应该怎么修改呢
https://github.com/THUDM/VisualGLM-6B/blob/main/finetune/finetune_visualglm_qlora.sh#L55
--include localhost:0
改成对应的卡号,也可以多卡,比如--include localhost:2,3,4
lora微调应该怎么修改呢
已解决和qlora一样设置的设置方法就可以