linsiwei123

Results 2 comments of linsiwei123

加载模型做finetune报错alueError: Target modules ['self_attn.q_proj', 'self_attn.k_proj', 'self_attn.v_proj', 'self_attn.o_proj', 'mlp.gate_proj', 'mlp.down_proj', 'mlp.up_proj'] not found in the base model. Please check the target modules and try again.

你用的脚本应该是1.2的微调脚本吧，1.5的要把上面这些改成wqkv

加载模型做finetune报错alueError: Target modules ['self_attn.q_proj', 'self_attn.k_proj', 'self_attn.v_proj', 'self_attn.o_proj', 'mlp.gate_proj', 'mlp.down_proj', 'mlp.up_proj'] not found in the base model. Please check the target modules and try again.

> 请问一下什么叫改成wqkv？可以具体说一下怎么改吗，谢谢！ 具体来说的话，在这个文件里internvl_chat/internvl/model/internvl_chat/modeling_internvl_chat.py 你需要这么改