liam0205.github.io
liam0205.github.io copied to clipboard
Liam0205
谈谈由异常输入导致的 ReLU 神经元死亡的问题 | 始终
https://liam.page/2018/11/30/vanishing-gradient-of-ReLU-due-to-unusual-input/
最近在阅读 Airbnb 的论文 Applying Deep Learning to Airbnb Search。阅读的过程中，我发现作者在谈及特征归一化的必要性时，有如下表述： Feeding values that are outside the usual range of features can cause large gradients to back propagate. This
也就是说，这个神经元的参数再也不会更新了。这句话有点问题。 神经元死亡后是可以复活的。 https://www.quora.com/What-is-the-dying-ReLU-problem-in-neural-networks
@NicoleYang61 也就是说，这个神经元的参数再也不会更新了。这句话有点问题。 神经元死亡后是可以复活的。 https://www.quora.com/What-is-the-dying-ReLU-problem-in-neural-networks
我知道你的意思。但我这里强调的是：「对于常规输入来说，ReLU 的输入大概率是个负数。这也就是说，ReLU 大概率是关闭的。这时，梯度无法经 ReLU 反向传播至 ReLU 的输入函数。」
所以对于将来的正常值，这个神经元就是死亡了。「复活」的条件很特别，对于一般的正常值是难以实现的。
非常不好意思，现在才看到这个回复，非常非常感谢你的回答！
Liam Huang [email protected] 于2019年4月21日周日 下午5:28写道：
@NicoleYang61 https://github.com/NicoleYang61 也就是说，这个神经元的参数再也不会更新了。这句话有点问题。 神经元死亡后是可以复活的。 https://www.quora.com/What-is-the-dying-ReLU-problem-in-neural-networks
我知道你的意思。但我这里强调的是：「对于常规输入来说，ReLU 的输入大概率是个负数。这也就是说，ReLU 大概率是关闭的。这时，梯度无法经 ReLU 反向传播至 ReLU 的输入函数。」
所以对于将来的正常值，这个神经元就是死亡了。「复活」的条件很特别，对于一般的正常值是难以实现的。
— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/Liam0205/liam0205.github.io/issues/262#issuecomment-485237885, or mute the thread https://github.com/notifications/unsubscribe-auth/ALTD7QJ5QJHDOCP6K6KXRYTPRQXSVANCNFSM4GPSIZ5A .
@NicoleYang61 非常不好意思，现在才看到这个回复，非常非常感谢你的回答！
没关系，不用抱歉的。
请问你有 blog 吗，欢迎多交流。: )
