kaijieshi
kaijieshi
这和知识蒸馏里面的内容相关,原文有提到为什么用tempeature,知识蒸馏可以看《Distilling the Knowledge in a Neural Network》这篇文章。
要不贴下你完整的代码
Nan的话,按照2d里面的torch.randn改一下 另外hidden_planes = int(in_planes * ratios)改为hidden_planes = int(in_planes * ratios)+1即可。我现在重新改下代码。
代码改好了,你帮我改了个bug😁
我是按照《Dynamic Convolution: Attention over Convolution Kernels》这篇文章实现的。文章中图示了他的attention,就是简单的加权求和。 
谢谢你的发现
这个对应python层的函数是什么?
@AzinPoshtyar Do you reproduce the map?
Hi, where is the "standard.npy" comes from?