HantingChen
HantingChen
How if you use the transposed conv layer?
I think this may caused by some optimization problems. Maybe you can try to adjust the hyper-parameters such as learning rate.
You can directly modify the Pytorch official imagenet training example: https://github.com/pytorch/examples/blob/master/imagenet/main.py, by replacing the conv-resnet with adder-resnet and using cosine learning rate decay with 150 epochs training.
p is reduced for each epoch, but I think it also works if you reduce it for each step.
可以，反卷积也是卷积的一种，只需要同样把反卷积中的乘法替换为加法和绝对值操作即可。
你好，如果是CNN会出现这种现象吗？
谢谢关注，暂时没有
1) 标准正态分布的绝对值方差为(1-2/π) 2) 见batch normalization原论文 3) 这种学习率使得每层的梯度的量级相同，所以更新步长也基本可以看作相同的。
> > > 您好，还想问下公式(9)中求出的是输出特征的方差Var(Y)，公式(11)中用到的δB是特征的方差开平方，即标准差，可是文中公式(11)的下一行却说取Var(Y)=δB，这里是为什么？为什么要给Var(Y)取mini-batch的标准差呢？谢谢 你好，这里是写错了，应该是δB的平方，两个都代表方差。