LLLLucensus

> > 请教下如何解决OOM，过程中，观察到只占用了GPU 0，其他几个GPU都没用到。 4张Tesla-V100-16G，参数配置： torchrun --nproc_per_node 1 -m FlagEmbedding.finetune.embedder.decoder_only.base --model_name_or_path BAAI/bge-multilingual-gemma2 --cache_dir ./cache/model --use_lora True --lora_rank 32 --lora_alpha 64 --target_modules q_proj k_proj v_proj o_proj gate_proj down_proj up_proj --additional_special_tokens ''...