请问微调方式，可以让Qwen-VL-Chat学会新的图片的解读、位置定位等能力吗？

[2132660698]

因为有些业务需求的图片，Qwen-VL并不认识或者识别不准，请问微调方式，可以让Qwen-VL-Chat学会新的图片的解读、位置定位等能力吗？

[ShuaiBai623]

在数据量大和训练充分的情况下是可以通过微调方式，可以让Qwen-VL-Chat学会新的图片的解读、位置定位等能力的

[2132660698]

好的，非常感谢您的回复，如果想让图片得到训练，是否将下图中的--fix_vit True改为False？

还有下图中的微调的层需要修改吗？

[paulxu1314]

看代码，lora的话，这个参数没起作用 if not training_args.use_lora: if training_args.fix_vit and hasattr(model,'transformer') and hasattr(model.transformer,'visual'): model.transformer.visual.requires_grad_(False) if hasattr(model.transformer.visual,'attn_pool'): model.transformer.visual.attn_pool.requires_grad_(True)