wang

如果损失函数L和激活函数f确定了，那整个权重w的更新方向也就确定了吧（或一直往右，或者一直往左）？为啥会有Z字形的走位呢？

> 回答：首先看下这个前向传播图片： > 权重更新方式是发生在反向更新阶段，过程：，对于神经元A来说，wi更新的方向和后几项都有关系，先看超参数，他是人为规定的，默认值，所以学习率可以不考虑；再看最后两位乘积项，这个对于神经元A来说，它是神经元A的误差表示，在某一次反向传播也是不变的，也不考虑，所以w值得更新方向只与x值有关，这个x值是上一层神经元的输入值，即经过了sigmod函数激活过，所以肯定是正值，那么可以得出结论：在某一次反向传播时，对于神经元A来说，w1、w2..改变的方向是统一的，或正或负。如果你的最优值是需要w1增加，w2减少，那么只能走z字形才能实现。 > > 所以，如何避免这种情况呢。方法之一就是改变激活函数，不需要激活函数值全正或者全负。所以你说，这里的sigmod函数输出均>0，和更新梯度有关系吗？ w i wangjia [email protected] > 在 2020年5月4日，下午4:46，hzp0821 写道： > > > 所以到底跟sigmod输出大于0有什么关系，我感觉只跟sigmod导数大于0有关呢？ > > — > You are receiving this because you commented....