OpenThinkIMG icon indicating copy to clipboard operation
OpenThinkIMG copied to clipboard

ZoomInSubfigure 工具的使用可能存在bug

Open fyw1999 opened this issue 2 months ago • 0 comments

作者你好,感谢你的开源工作!我发现一个问题,在使用ZoomInSubfigure 工具时,从.parquet文件加载出来的item有两张图像,但是两张图像是一模一样的,第二张图像并不是第一张图像的局部子图,然后在collate_fn函数中处理数据的时候,在convert_example中

if "You are a visual assistant capable of generating and solving steps" in item['value']:
            content.append({'type':'text', 'text':item['value'].split("\n\nQuestion: ")[-1]})

去掉了问题前面的<image>标记,而在后面的<image>OBSERVATION:\nZoomInSubfigure model outputs:中却又保留了<image>标记,导致最后processor.apply_chat_template拼接出来的样本是下面这样子的: ....<|im_start|>user\nWhat is the label of the bar that is tallest in the rightmost bar chart?<|vision_start|><|image_pad|><|vision_end|><|im_end|>\n<|im_start|>.......<|im_start|>user\n<image>OBSERVATION:\nZoomInSubfigure model outputs: Select subplot done.\nPlease summarize the model outputs and answer my first question.<|vision_start|><|image_pad|><|vision_end|><|im_end|>........ 所以想问一下作者 1. 两张图像一摸一样,2.处理完的样本保留了一个多余的<image>标记 这两个问题是有什么设计吗还是可能是bug呢,期待作者的回复,谢谢!

fyw1999 avatar Nov 04 '25 04:11 fyw1999