s2anet
s2anet copied to clipboard
读完论文看了下代码有几处疑问,希望作者不吝赐教。
一、
在FAM的ARN部分,论文中描述是在送进来的特征图上的each location都产生一个anchor,我看代码中是有一个上采样的过程?比如送进来的是(116,116)的特征图,stride是8,然后锚盒的点是从3.5-923.5,116个中心点,特征图是被放大了8倍?这个过程中产生的锚盒W,H都是32,θ为0,然后回归之后有一个计算偏移量的过程,应该是根据下面的公式计算的吧:
我想问一下这个公式的原理是啥,为啥能从原本初始化的一些anchor中计算出具体偏移量,然后锚盒就变成高质量了?
二、
经过ARN产生的高质量锚盒送入AlignNet进行的是特征的对齐,这部分我不明白的是特征对齐是将原图groud truth框中的特征以包围盒方向为标准重新排列特征像素?这样做的好处我不是很明白,希望您能稍微指点一下。
三、
ODM部分方向敏感特征和方向不变特征具体意义是什么。。
最后还请作者能解答我的疑惑,不胜感激!!
我想问一下这个公式的原理是啥,为啥能从原本初始化的一些anchor中计算出具体偏移量,然后锚盒就变成高质量了?
ARN类似于RPN,对preset的anchor进行refine,然后我们根据refined anchor对conv feat进行align(重采样)。
将原图groud truth框中的特征以包围盒方向为标准重新排列特征像素?
这里不是将conv feat于gt对齐,而是将conv feat与refined anchor(from ARN)对齐。
ODM部分方向敏感特征和方向不变特征具体意义是什么。。
orientation-sensitive: 来自N个方向特征,对方向敏感,用于回归 orientation-invariant: 对N个方向的特征进行pooling,对方向不敏感,用于分类。
我想问一下这个公式的原理是啥,为啥能从原本初始化的一些anchor中计算出具体偏移量,然后锚盒就变成高质量了?
ARN类似于RPN,对preset的anchor进行refine,然后我们根据refined anchor对conv feat进行align(重采样)。
将原图groud truth框中的特征以包围盒方向为标准重新排列特征像素?
这里不是将conv feat于gt对齐,而是将conv feat与refined anchor(from ARN)对齐。
ODM部分方向敏感特征和方向不变特征具体意义是什么。。
orientation-sensitive: 来自N个方向特征,对方向敏感,用于回归 orientation-invariant: 对N个方向的特征进行pooling,对方向不敏感,用于分类。
您好,感谢您的耐心解答,前几个问题这几天我已经想通了,我最后还有一个疑问,就是active rotating filter部分,默认N是8,滤波器会进行8次旋转来产生更多的特征,那为什么最后的输出还是和输入一样是HW256和一个经过池化的HW8,而不是原输入HW256再乘上8呢?是对特征图进行分块了吗?期待得到您的回复。
ARF输出:HW256,经过pooling到:HW32