PeanutX
Results
2
comments of
PeanutX
因为每次更新是要执行weight -= weight.grad的，这个操作相当于若weight为正，每次更新多减一点，若为负，每次更新时少减一点，于是weight就有向0的趋势
> 我做了一些实验证明，加了加了L1范式后，如@ZongshenXie所说可以使γ更趋近于0（也就是数值较小的γ更多了），但是并不可以使γ值变为0。 代码里面实际上并不是L1，而是一个与γ正负相同的固定值，应该算是L0。另外，剪枝并不需要使γ严格等于0，而是让部分γ足够小，也就是让这部分channel对网络的影响变小，从而剪枝的时候把它们去掉后网络依然能够正常运行