Twins icon indicating copy to clipboard operation
Twins copied to clipboard

Published 20 hours ago • verified publisher icon Meituan-AutoML

关于计算复杂度的问题

Open woaicv opened this issue 2 years ago • 1 comments

您好，有个问题我没太想清楚，就是GSA的计算复杂度为什么是 O(mnHW d) = O( H2W2d k1k2 )。非常感谢！

woaicv avatar Apr 03 '22 02:04 woaicv

我推测是每个patch有一个representative，这是query，size就是patch的个数，mn，是与整个image做全局自注意力，key的size就是HW，所以计算复杂度是O(mnHWd)

forever10086 avatar May 02 '22 06:05 forever10086