Qwen-VL
Qwen-VL copied to clipboard
基于下游视觉任务微调,是否可以在value固定json输出,这样我就可以去获取指定的信息。
我试图以下面的数据格式去finetune数据集,不知道是否可行。如果不可行,是否有好的方法? [ { "id": "identity_1", "conversations": [ { "from": "user", "value": "Picture 1: jxxq_20240530_20240611_49.jpeg\n这张图片是视频监控画面的截屏,请帮我判断该画面中是否出现人拉车门的事件is_lcm,如果出现人拉车门事件,请帮我框出拉车门的位置alam_box,最后尽可能提取框内的车辆颜色car_color、车牌信息car_plate、车辆类型car_type。具体格式如下{"is_lcm":"","alarm_boxes":[{"alarm_box":"","car_color":"","car_plate":"","car_type":""}]},其中is_lcm的yes或者no二选一,其他内容如果无法判断则填写none" }, { "from": "assistant", "value": "{"is_lcm":"yes","alarm_boxes":[{"alarm_box":"(655,286),(977,947)","car_color":"灰色","car_plate":"none","car_type":"SUV"}]}" } ] } ]
实测可行
实测可行
可是,这样bejson都通过不了。真的可以吗?
实测可行
可是,这样bejson都通过不了。真的可以吗?
我说的是思路可行,但是你这个格式有问题,建议看一下官方给的SFT数据示例