MiniCPM-V icon indicating copy to clipboard operation
MiniCPM-V copied to clipboard
Published 3 months ago • verified publisher icon OpenBMB

可以只微调llama layers吗?

Open wwwwar3com opened this issue 1 year ago • 1 comments

我试了一下,报错说image 为空

wwwwar3com avatar Aug 29 '24 01:08 wwwwar3com

你说的llama layers时说只微调llm模型么？

LDLINGLINGLING avatar Aug 30 '24 01:08 LDLINGLINGLING

就是一些没有图片的问答, domain knowledge finetune script 好像是默认有图片的, 或者是我没找到

我之前看paligama的finetune可以freeze vision layers, 然后只微调gemma-2b layer

不知道minicpm 可不可以

wwwwar3com avatar Aug 30 '24 02:08 wwwwar3com

可以的，在finetune_ds和finetune_lora的脚本中都有vision_tune的参数，设置为false就行了

LDLINGLINGLING avatar Aug 30 '24 02:08 LDLINGLINGLING

llamafactory微调minicpm-o时，可以冻结LLM模块吗

sea-yjd avatar Feb 11 '25 09:02 sea-yjd