Wenming Tu

> @danjuan-77 请问你是和Qwen-VL-Chat对比只提高了一个点吗？ 对，是的。但是最近有了一些新的进展。 我采用了一个新的数据集，在进行lora微调后，进行测试，发现性能确实得到显著提升（大约10个点），原因在于可能之前的微调Prompt和测试Prompt没有对齐，将他们对齐后进行测试，性能的确是提升了。

> @danjuan-77 > > > > @danjuan-77 请问你是和Qwen-VL-Chat对比只提高了一个点吗？ > > > > > > 对，是的。但是最近有了一些新的进展。 我采用了一个新的数据集，在进行lora微调后，进行测试，发现性能确实得到显著提升（大约10个点），原因在于可能之前的微调Prompt和测试Prompt没有对齐，将他们对齐后进行测试，性能的确是提升了。 > > 你好，感谢回复，请问怎么把自己的数据构造成qwenvl的格式呢？ 在README文件中finetune部分有介绍到具体的对话数据集构建模板，构造成对应的json文件就行🌟

如果是测试的话，使用`test.jsonl`格式应该是这样的： ```jsonl {"image": "图片路径", "bbox": [[279, 134, 358, 231], [28, 93, 121, 221], [0, 371, 99, 497]], "height": 512, "width": 512} ``` 关于测试使用的Prompt，可以在evaluate_grounding.py找到Prompt设置

> @danjuan-77 感谢回复，我还有两个问题想要请教您~ 第一个就是关于grounding微调是否也需要加上 "height": 512, "width": 512，我之前微调没有加上这个参数 第二个想询问下关于evaluate_vqa.py的测试数据格式 感激不尽！ 关于数据格式，可以参考这个文件中的说明：`eval_mm/EVALUATION.md` 里面有Qwen测试数据的下载地址可以参考一下，grounding微调是需要加入图片的宽高参数，因为Qwen需要对坐标进行归一化，在evaluate_grounding.py大约246行可以看到。 由于我只做了目标检测相关的任务微调，vqa我不太了解，`eval_mm/EVALUATION.md`里面应该会有相关数据下载地址，可以下载下来看看。

大佬们，请问一下你们进行目标检测类任务的测试代码是怎么做的呢？精度指标又是什么？希望能提供帮助qwq 怎么构建的数据集？Prompt是什么？

貌似开启了一个填空任务？去掉这个token之后，模型可以输出多个box坐标，但是去掉之前，只能输出一个坐标。

QWen的tokenizer会对坐标进行归一化，在`tokenization_tokenization.py`中可以看到 ```python for box in boxes: if 'ref' in box: # random new color for new refexps color = random.choice([_ for _ in mcolors.TABLEAU_COLORS.keys()]) x1, y1, x2, y2 = box['box']...

> > QWen的tokenizer会对坐标进行归一化，在`tokenization_tokenization.py`中可以看到 > > ```python > > for box in boxes: > > if 'ref' in box: # random new color for new refexps > > color = random.choice([_...