ZeroQ icon indicating copy to clipboard operation
ZeroQ copied to clipboard

生成数据时,提取的网络激活位置是否有bug?

Open Fangkang515 opened this issue 3 years ago • 1 comments

感谢您的杰出工作,有一个小问题想问下:

在distill_data.py中:

image

87行代码,hook提取到的特征都是卷积后的值,但这种做法是不是默认了卷积后一定是BN? 如果一个网络存在某些conv后没有加BN,那么此时计算论文中公式3,可能是“不同层的两个BN参数间的计算”

感谢~

Fangkang515 avatar Feb 25 '21 11:02 Fangkang515

确实,如果Conv后不是BN的话就会有这个问题,比如EfficientNet。 (这个仓库是这位UCB教授的,所以他可能看不懂中文hh)

ThisisBillhe avatar Dec 24 '21 07:12 ThisisBillhe