Efficient-AI-Backbones icon indicating copy to clipboard operation
Efficient-AI-Backbones copied to clipboard
verified publisher icon huawei-noah

请问pos-embed用或者不用对于性能的影响几何

Open R2D2-3PO opened this issue 3 years ago • 2 comments

论文内并没有这个消融实验，但是ViT中对这个有所探讨，ViT中会影响性能，但是去掉位置编码仍然有一定的效果。请问GCN在这方面表现如何？

R2D2-3PO avatar Oct 26 '22 07:10 R2D2-3PO

默认加上位置编码了。以ViG-S为例：

  • 不带位置编码：79.85
  • 带位置编码：80.4

iamhankai avatar Oct 26 '22 09:10 iamhankai

那也就是说，带不带位置编码对结果影响不大，看来跟Transformer还是有所不同，感谢解答！

R2D2-3PO avatar Oct 27 '22 01:10 R2D2-3PO