YOLO-World icon indicating copy to clipboard operation
YOLO-World copied to clipboard

怎么能在保持开集效果的情况下,在下游任务数据集上微调呢?

Open IronmanVsThanos opened this issue 1 year ago • 10 comments

试过了lora(可能没有lora的很好),试过了冻结部分权重。请问下作者有建议吗?

IronmanVsThanos avatar May 08 '24 13:05 IronmanVsThanos

我看到之前的讨论里,作者把GOA数据集和微调数据集混合训练,这样微调之后能保留开集效果。你可以试试看

tomgotjack avatar May 08 '24 15:05 tomgotjack

我看到之前的讨论里,作者把GOA数据集和微调数据集混合训练,这样微调之后能保留开集效果。你可以试试看

那个是pretrain, 不是微调

Lee-ray-a avatar May 09 '24 11:05 Lee-ray-a

你看一下这个讨论的最后https://github.com/AILab-CVC/YOLO-World/issues/154

tomgotjack avatar May 09 '24 11:05 tomgotjack

@IronmanVsThanos 我把COCO和GQA数据集混合起来微调,出来的结果还可以,你看下issues/299

tomgotjack avatar May 10 '24 13:05 tomgotjack

@IronmanVsThanos 目前比较有效的是带着一些预训练数据去微调

wondervictor avatar May 16 '24 10:05 wondervictor

@IronmanVsThanos 目前比较有效的是带着一些预训练数据去微调

thank U very much, bro

IronmanVsThanos avatar May 20 '24 03:05 IronmanVsThanos

@IronmanVsThanos 我把COCO和GQA数据集混合起来微调,出来的结果还可以,你看下issues/299

thank U very much, bro

IronmanVsThanos avatar May 20 '24 03:05 IronmanVsThanos

@wondervictor @IronmanVsThanos 我使用https://github.com/AILab-CVC/YOLO-World/issues/299 的配置文件,把COCO和GQA数据集混合起来微调,刚开始训练,loss没有明显下降,只有grad_norm有明显下降,不知道是不是正常现象。

ccl-private avatar Jun 25 '24 02:06 ccl-private

@wondervictor 另外还有个问题:我有两个数据集A和B,A数据集主要标注街道里面的房屋,对街道里的车辆没有标注;B数据集反过来,只标注了车辆,没有标注房屋。如果直接将A、B两个数据集用配置文件里面的方式一起加载进去训练,会不会有问题?模型有没有机制可以有效处理不同数据集标注内容不一样的问题?

ccl-private avatar Jun 25 '24 03:06 ccl-private

@IronmanVsThanos 我把COCO和GQA数据集混合起来微调,出来的结果还可以,你看下issues/299

你好,请问可以给一份训练config文件作为参考吗?我混合数据集报各种参数错误

wenqiuL avatar Sep 18 '24 12:09 wenqiuL