sunyifeng6

关于bge-multilingual-gemma2的lora微调的显存问题

3

作者你好，我在微调bge-multilingual-gemma2模型的时候，对显存的使用觉得比较奇怪。按道理来说，lora微调一个9b的模型显存的使用应该是20到40g左右，但是我在batch_size等都设置为1的时候，还是需要60多g，是不是我的设置有哪些地方不太合理。 配置信息如下： torchrun --nproc_per_node 1 \ -m FlagEmbedding.finetune.reranker.decoder_only.base \ --model_name_or_path /root/autodl-tmp/model \ --use_lora True \ --lora_rank 32\ --lora_alpha 64 \ --use_flash_attn False \ --target_modules q_proj k_proj v_proj o_proj \ --save_merged_lora_model...