oncleJules

你在llava中使用了“--mm_projector_lr 2e-5”，在llama-factory里没有这个设置，因此mm_projector应该也使用了lr 2e-4。这会导致训练不同。

> > 你在llava中使用了“--mm_projector_lr 2e-5”，在llama-factory里没有这个设置，因此mm_projector应该也使用了lr 2e-4。这会导致训练不同。 > > 感谢您的回复，那请问我在llama-factory中直接把学习率设置为2e-5，是否会有更好的效果呢？另外，使用llama-factory微调其他MLLM如Qwen，LLAVA-Next等是否有相似的问题呢？ 我没试过。估计不行。 如果采用类似LLaVA的visual-encoder → mm_projector → LLM的architecture，应该都会存在类似的问题。mm_projector一般在训练中被要求变动更小。