Seperendity
Results
4
comments of
Seperendity
您好,想请教一下,ppcls/arch/backbone/model_zoo/mixformer.py中line229这里的维度`v = v * x_cnn2v`是如何计算的呢?我看每个部分的最后两个维度分别是`(1, C // self.num_heads)`和`(N, C // self.num_heads)`这里做矩阵乘列和行的维度不是不对应吗?
@chensnathan 非常感谢您的解答!知道用的是广播机制了。但还是对为什么广播后的值乘的对应维度是`numswindow`和`tokens`数这两维,我看论文的意思以为是把权重乘到通道维度上。`x_cnn2v = torch.sigmoid(channel_interaction).reshape([-1, 1, self.num_heads, 1, C // self.num_heads])`和` v = v.reshape([x_cnn2v.shape[0], -1, self.num_heads, N, C // self.num_heads])`代码中这么乘的原因是什么呢?直观上来看并没有将学到的权重赋到dims维度上,希望您能解答一下,不甚感激。
@chensnathan 明白您的意思了,非常感谢您的耐心解答!很有意思的工作
Can you post a video tutorial on how to customize module embedding into the network? Take the Transformer module in the original yolov5 library for example, how to integrate the...