caoyu

InternLM-XComposer2-VL-7B使用lora微调，似乎保存了整个模型？

3

我在用lora微调的时候，发现它保存的目录下有一个文件 mp_rank_00_model_states.pt，有32GB，还有一个bf16_zero_pp_rank_0_mp_rank_00_optim_states.pt，有900M。有点困惑，lora应该只保存它训练的那部分参数才对。 我的finetune_lora.sh如下： ```shell #!/bin/bash export CUDA_DEVICE_MAX_CONNECTIONS=1 DIR=`pwd` export MODEL="/root/onethingai-tmp/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b" export DATA="finetune/data.txt" GPUS_PER_NODE=1 NNODES=1 NODE_RANK=0 MASTER_ADDR=localhost MASTER_PORT=6001 DISTRIBUTED_ARGS=" --nproc_per_node $GPUS_PER_NODE \ --nnodes $NNODES \ --node_rank $NODE_RANK \ --master_addr $MASTER_ADDR \...