McCarthyjfq

Results 6 comments of McCarthyjfq

Using Swift to perform inference and fine-tune InternVL-Chat-V1.5

请问我用的是官方文件来进行lora微调的，想用swift来merge的时候发现merge后的权重和原权重一摸一样，lora权重并没有被merge进去，是什么原因？是一定也要用swift来微调才行吗？

Using Swift to perform inference and fine-tune InternVL-Chat-V1.5

> 请问我用的是官方文件来进行lora微调的，想用swift来merge的时候发现merge后的权重和原权重一摸一样，lora权重并没有被merge进去，是什么原因？是一定也要用swift来微调才行吗？ 有一个提示是sft_args.json not found

Using Swift to perform inference and fine-tune InternVL-Chat-V1.5

> > > 请问我用的是官方文件来进行lora微调的，想用swift来merge的时候发现merge后的权重和原权重一摸一样，lora权重并没有被merge进去，是什么原因？是一定也要用swift来微调才行吗？ > > > > > > 有一个提示是sft_args.json not found > > 这个文件是swift微调之后生成的文件 你没有的话看起来是不行 谢谢！

加载模型做finetune报错alueError: Target modules ['self_attn.q_proj', 'self_attn.k_proj', 'self_attn.v_proj', 'self_attn.o_proj', 'mlp.gate_proj', 'mlp.down_proj', 'mlp.up_proj'] not found in the base model. Please check the target modules and try again.

请问一下什么叫改成wqkv？可以具体说一下怎么改吗，谢谢！

请问InternVL_1.5_26B的LoRA微调版本什么时候能出来？

亲测1.2版本的lora微调可以用在1.5版本上，但需要做以下更改 ![image](https://github.com/OpenGVLab/InternVL/assets/144629782/93c73fb3-3fd4-4e82-86f5-535efe96a639)

请问InternVL_1.5_26B的LoRA微调版本什么时候能出来？

> 亲测1.2版本的lora微调可以用在1.5版本上，但需要做以下更改 ![image](https://private-user-images.githubusercontent.com/144629782/333088717-93c73fb3-3fd4-4e82-86f5-535efe96a639.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MTY0NTA4MjUsIm5iZiI6MTcxNjQ1MDUyNSwicGF0aCI6Ii8xNDQ2Mjk3ODIvMzMzMDg4NzE3LTkzYzczZmIzLTNmZDQtNGU4Mi04NmY1LTUzNWVmZTk2YTYzOS5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZGVudGlhbD1BS0lBVkNPRFlMU0E1M1BRSzRaQSUyRjIwMjQwNTIzJTJGdXMtZWFzdC0xJTJGczMlMkZhd3M0X3JlcXVlc3QmWC1BbXotRGF0ZT0yMDI0MDUyM1QwNzQ4NDVaJlgtQW16LUV4cGlyZXM9MzAwJlgtQW16LVNpZ25hdHVyZT1lMzE4NDJiNjdmZmUwZjUyNzUwNTc3ZWQ4ODBlYjRiOTdlMTZhZTFkMDMyZGUxYjcxYjJmNGZkNjlkMTBmODM1JlgtQW16LVNpZ25lZEhlYWRlcnM9aG9zdCZhY3Rvcl9pZD0wJmtleV9pZD0wJnJlcG9faWQ9MCJ9.W5fkZlGHGPTP6vOTpYacFPHC2xJ9s9hytZFVONf0vjU) 同时merge lora的权重时可以借鉴swift库