The questions of IoU-aware Query Selection

[Yyc1999super]

前辈，请问论文中提到的IoU-aware Query Selection的模块实现代码是在哪里呢？论文中描述的是在Encoder和Decoder之间，但是在代码中没有体现出来（也可能是我太菜了，看不明白），我看到了_get_decoder_input这个函数，但是觉得没有相关的操作。可否指点一下，麻烦您了。

[lyuwenyu]

在loss里 具体实现采用的vfl

[Yyc1999super]

好的，感谢

[Jenny199099]

楼主你好，请问你找到IoU-aware Query Selection的模块实现代码了吗？能否分享一下，谢谢。

[Yyc1999super]

楼主你好，请问你找到IoU-aware Query Selection的模块实现代码了吗？能否分享一下，谢谢。

在rtdetr_criterion.py里面的loss_labels_vfl函数。

[1999zsh]

楼主你好，我看论文里面没有说IoU-aware Query Selection，而是uncertainty minimal query selection方法。您指的是后者吗？还有我发现这个方法的代码与论文里面不是很一致呀

[BugBubbles]

各位前辈，我感觉是论文使用了VarifocalNet里面提到的VarifocalLoss，用这个损失函数代替了CE损失或者FL损失，而Query Selection里面与DINO保持一致，即取分数最高的前num_queries个阶段一预测框（encoder产生）作为Deformable的锚点，其余与Deformable DETR保持一致，论文中采用的损失只有这三项： https://github.com/lyuwenyu/RT-DETR/blob/93d00c11b4b001f742e5c3c36455147714a3e61e/rtdetr_pytorch/configs/rtdetr/include/rtdetr_r50vd.yml#L68

所以实际上Query Selection并没有增加新的处理方式，只是修改了一下阶段一预测框的置信分数头（将它与decoder后接的class头分离），是这样理解的吗？