YOLOv5-Multibackbone-Compression icon indicating copy to clipboard operation
YOLOv5-Multibackbone-Compression copied to clipboard
verified publisher icon Gumpest

有关于SwinTransformerLayer

Open Vegetabhl opened this issue 3 years ago • 2 comments

大佬，我想麻烦请问下我看论文中swin transformer block都是成对出现的，你代码中SwinTransformerLayer的具体结构是不是只是下面的一半，比如1个C3STR模块内部堆叠了4个SwinTransformerLayer，那这3个并不一定完全是按照W-MSA，SW-MSA，W-MSA，SW-MSA，这样排的吗？ 也可能是W-MSA，W-MSA，SW-MSA，W-MSA这样排的对吗？

我也刚接触swin transformer ,可能说的不太清楚，主要就是对这个代码中的SwinTransformerLayer网络结构不太清楚，谢谢您了。

1

Vegetabhl avatar Apr 09 '22 13:04 Vegetabhl

大佬，我想麻烦请问下我看论文中swin transformer block都是成对出现的，你代码中SwinTransformerLayer的具体结构是不是只是下面的一半，比如1个C3STR模块内部堆叠了4个SwinTransformerLayer，那这3个并不一定完全是按照W-MSA，SW-MSA，W-MSA，SW-MSA，这样排的吗？ 也可能是W-MSA，W-MSA，SW-MSA，W-MSA这样排的对吗？

我也刚接触swin transformer ,可能说的不太清楚，主要就是对这个代码中的SwinTransformerLayer网络结构不太清楚，谢谢您了。

1

兄弟，你跑了代码吗，想知道采用swin transformer占显存有多大，1120的输入我的占7-8G

LUO77123 avatar May 15 '22 16:05 LUO77123

的具体结构是不是只是下面的一半 你您，请问你搞清楚了吗

TangFeo avatar Mar 08 '23 02:03 TangFeo