ZeroQ
ZeroQ copied to clipboard
生成数据时,提取的网络激活位置是否有bug?
感谢您的杰出工作,有一个小问题想问下:
在distill_data.py中:
87行代码,hook提取到的特征都是卷积后的值,但这种做法是不是默认了卷积后一定是BN? 如果一个网络存在某些conv后没有加BN,那么此时计算论文中公式3,可能是“不同层的两个BN参数间的计算”
感谢~
确实,如果Conv后不是BN的话就会有这个问题,比如EfficientNet。 (这个仓库是这位UCB教授的,所以他可能看不懂中文hh)