ms-swift icon indicating copy to clipboard operation
ms-swift copied to clipboard

internvl3_8B多模态模型的微调如何设置不同模块的冷冻与lora阶数呢?

Open lzk9508 opened this issue 8 months ago • 0 comments

Describe the bug 我是从internvl的官方仓库里过来的,官网的训练代码依靠以下参数调节不同模块的冷冻与lora数: --use_llm_lora 4 \ #语言模型部分的lora --use_backbone_lora 4 \ #vit部分的lora --freeze_llm True \ #语言模型本体冻结(lora微调) --freeze_mlp False \ #桥接器不冻结 --freeze_backbone True \ #vit模型本体冻结(lora微调)

请问在swift仓库中这些参数仍然有效吗?如果无效的话设置什么参数能达到以上效果呢?

lzk9508 avatar May 06 '25 09:05 lzk9508