sunyifeng6

@545999961 非常感谢你的提醒，我在使用对应的代码微调时，对lora的显存使用还是觉得有点疑惑。在设置了lora微调时，这里显存的使用像是全量微调，而不是lora。 torchrun --nproc_per_node 1 \ -m FlagEmbedding.finetune.embedder.decoder_only.base \ --model_name_or_path /root/autodl-tmp/bge-multilingual-gemma2 \ --cache_dir ./cache/model \ --use_lora True \ --lora_rank 32 \ --lora_alpha 64 \ --target_modules q_proj k_proj v_proj o_proj gate_proj...