NicoleYang61

也就是说，这个神经元的参数再也不会更新了。这句话有点问题。 神经元死亡后是可以复活的。 https://www.quora.com/What-is-the-dying-ReLU-problem-in-neural-networks

非常不好意思，现在才看到这个回复，非常非常感谢你的回答！ Liam Huang 于2019年4月21日周日 下午5:28写道： > @NicoleYang61 > 也就是说，这个神经元的参数再也不会更新了。这句话有点问题。 > 神经元死亡后是可以复活的。 > https://www.quora.com/What-is-the-dying-ReLU-problem-in-neural-networks > > 我知道你的意思。但我这里强调的是：「对于常规输入来说，ReLU 的输入大概率是个负数。这也就是说，ReLU 大概率是关闭的。这时，梯度无法经 > ReLU 反向传播至 ReLU 的输入函数。」 > > 所以对于将来的正常值，这个神经元就是死亡了。「复活」的条件很特别，对于一般的正常值是难以实现的。 > > — >...