qwen2-vl多图sft失败无法使用

[yasi0124]

我按照04-Qwen2-VL-2B Lora 微调.md的教程进行了单图的sft，是ok的。 然后因为个人需要，我想测试一下能否进行多图的sft。训练数据按照如下格式准备的。 messages = [ { "role": "user", "content": [ { "type": "image", "image": f"{file_path}", "resized_height": 280, "resized_width": 280, }, { "type": "image", "image": f"{file_path}", "resized_height": 280, "resized_width": 280, }, {"type": "text", "text": "COCO Yes:"}, ], } ] 测试结果，按照这个message格式，推理是ok的，但是训练会报错。 报错如下：

我定位了下，是image_grid_thw tensor这个的tensor维度发生了变化。（正常训练的tensor shape的是[2,3]）

[Zeyi-Lin]

让我看看

[Zeyi-Lin]

多图sft，这是什么场景？可以考虑开一个新的教程文档来适配这个场景

[yasi0124]

多图sft，这是什么场景？可以考虑开一个新的教程文档来适配这个场景

ds的vl它有一个推理场景是这样的，试了下推理的这种能力有限，想试着按照这种情况sft一下。