CLRNet icon indicating copy to clipboard operation
CLRNet copied to clipboard

关于模型的问题

Open yangrisheng opened this issue 2 years ago • 6 comments

image 请问下什么是R0->R0->R0

yangrisheng avatar Jun 16 '22 07:06 yangrisheng

就是在最顶层的feature map上做了三次迭代,这里是做对比实验用的。

MySuperSoul avatar Jun 19 '22 09:06 MySuperSoul

image 好的。谢谢您的回复。还有个问题。就是这个公式。 1、关于这个Pt的公式。这个Refined P0是不是就是将输出G叠加到feature map例如L0上的特征,然后当做L1的先验输入? ROIGather_标注 2、对于Refined是不是其中包含了ROIGather这些?我在另一个issue看到了类似的解释。那实际上refined是一个大的结构包含了处理P0的输入将其映射到L0 feature map。然后对这个新的feature map进行resize、flatten得到图中标注的Xf和卷积、FC得到Xp特征,然后进行attention操作得到W,然后再与Xf做特征抽取,得到新的车道线特征输入给feature map L1。这部分即Refined P0。 总结就是,我的理解Refined structure包含了中间整个部分。期待您的回复,谢谢!

yangrisheng avatar Jun 19 '22 10:06 yangrisheng

就是在最顶层的feature map上做了三次迭代,这里是做对比实验用的。

那在请问一下ADD那部分是啥意思呢?

yangrisheng avatar Jun 19 '22 11:06 yangrisheng

image 好的。谢谢您的回复。还有个问题。就是这个公式。 1、关于这个Pt的公式。这个Refined P0是不是就是将输出G叠加到feature map例如L0上的特征,然后当做L1的先验输入? ROIGather_标注 2、对于Refined是不是其中包含了ROIGather这些?我在另一个issue看到了类似的解释。那实际上refined是一个大的结构包含了处理P0的输入将其映射到L0 feature map。然后对这个新的feature map进行resize、flatten得到图中标注的Xf和卷积、FC得到Xp特征,然后进行attention操作得到W,然后再与Xf做特征抽取,得到新的车道线特征输入给feature map L1。这部分即Refined P0。 总结就是,我的理解Refined structure包含了中间整个部分。期待您的回复,谢谢!

  1. 首先每个stage的输入P_t是指lane prior的参数,即x, y, theta值(这三个参数值就能决定一条直线)。然后ROIGather模块是一个特征聚合的模块,用来生成和enhance对应lane prior的feature。在ROIGather之后会通过lane feature生成参数的regression值,输入 + regression值得到refine之后的下一个stage的输入。

  2. 是的,公式当中的R_t代表的就是refine的过程,从输入prior参数到得到refined prior参数过程。中间包含了提feature、ROIGather等过程。不过并不是特征输入给L1,而是得到的refined prior params输入到下一个level。这个你可以看下代码的实现就能理解了~

MySuperSoul avatar Jun 19 '22 14:06 MySuperSoul

就是在最顶层的feature map上做了三次迭代,这里是做对比实验用的。

那在请问一下ADD那部分是啥意思呢?

是我们做的一个对比实验,用来体现CLR framework的有效性。ADD是一个naive的feature fusion的方式,就是将所有的FPN feature map都resize到最顶层的大小,然后ADD到一起,再refine 3次得到的结果。

MySuperSoul avatar Jun 19 '22 14:06 MySuperSoul

@MySuperSoul 好的谢谢,要开始研究代码啦。有问题再来请教您。非常感谢!

yangrisheng avatar Jun 19 '22 14:06 yangrisheng