关于RiRoI Align的问题

[2324773711]

1.请问不同朝向的物体经过Backbone得到的特征图的通道顺序是不一致的，然后经过RiRoI Align 之后得到的通道顺序才是一致的是吗？ 2.方向通道的对齐指的是不同朝向的物体最终得到的feature的通道顺序也要是一致的是吗？ 3.代码中riroi align中的通道C(r,n)已经是在第一方向通道了吗？如果是的话，riroi align中的通道选择是在Backbone中完成的是吗？

[2324773711]

@csuhan

[csuhan]

1. Backbone得到的通道顺序是一致的，具有旋转等变性的，RiRoI Align通过通道的“对齐”，从旋转等变中得到旋转不变性。我们假设方向为θ的目标可以通过旋转变换T(θ)的得到。因此RiRoI Align相当于一个逆向变换T'(θ)，将目标的Region feature统一到0°，即rotation-invariant。
2. 是的。理论上我们可以使不同朝向的物体对齐到统一坐标中。
3. 不是。我们希望将C(r, n)调整到C(0, n)的位置。