VisualGLM-6B
VisualGLM-6B copied to clipboard
运行finetune报错
NCCL_DEBUG=info NCCL_IB_DISABLE=0 NCCL_NET_GDR_LEVEL=2 deepspeed --master_port 16666 --hostfile hostfile_single finetune_visualglm.py --experiment-name finetune-visualglm-6b --model-parallel-size 1 --mode finetune --train-iters 300 --resume-dataloader --max_source_length 64 --max_target_length 256 --lora_rank 10 --pre_seq_len 4 --train-data ./fewshot-data/dataset.json --valid-data ./fewshot-data/dataset.json --distributed-backend nccl --lr-decay-style cosine --warmup .02 --checkpoint-activations --save-interval 300 --eval-interval 10000 --save ./checkpoints --split 1 --eval-iters 10 --eval-batch-size 8 --zero-stage 1 --lr 0.0001 --batch-size 20 --skip-init --fp16 --use_lora finetune/finetune_visualglm.sh: line 56: deepspeed: command not found
已经尝试过升级deepspeed,还是报错 目前deepspeed版本 0.9.2
看上去是装deepspeed的时候,deepspeed 命令没有加入默认path,请在安装地点找到并加入默认path,或者到deepspeed仓库下的issue寻找出错原因。
finetune时加上sudo bash...试试