激活函数Tanh的反向传播

[qianchne]

您好，最近阅读了您的这个仓库，受益非浅，非常感谢。 但是我对您在nn/activations.py 中的Tanh的反向传播函数有点疑惑。 def tanh_backward(next_dz): """ tanh激活反向过程 :param next_dz: :return: """ return 1 - np.square(np.tanh(next_dz)) 根据反向传播的求导，我觉得Tanh的反向函数应该是： def tanh_backward(next_dz, z): return next_dz*(1 - np.square(np.tanh(z))) 谢谢您的指教。

[qianchne]

还有在nn/optimizers.py中我有些疑问： AdaGrad和RMSProp的权重更新中， （adagrad）self.s[key] += np.square(layer.weights[key]) （rmsprop）self.s[key] = self.gamma * self.s[key] + (1 - self.gamma) * np.square(layer.weights[key]) 我觉得根据定义，应该是： （adagrad）self.s[key] += np.square(layer.gradients[key]) （rmsprop）self.s[key] = self.gamma * self.s[key] + (1 - self.gamma) * np.square(layer.gradients[key])

[yizt]

您好，最近阅读了您的这个仓库，受益非浅，非常感谢。 但是我对您在nn/activations.py 中的Tanh的反向传播函数有点疑惑。 def tanh_backward(next_dz): """ tanh激活反向过程 :param next_dz: :return: """ return 1 - np.square(np.tanh(next_dz)) 根据反向传播的求导，我觉得Tanh的反向函数应该是： def tanh_backward(next_dz, z): return next_dz*(1 - np.square(np.tanh(z))) 谢谢您的指教。

@qianchne 感谢您的反馈，已修正

[yizt]

还有在nn/optimizers.py中我有些疑问： AdaGrad和RMSProp的权重更新中， （adagrad）self.s[key] += np.square(layer.weights[key]) （rmsprop）self.s[key] = self.gamma * self.s[key] + (1 - self.gamma) * np.square(layer.weights[key]) 我觉得根据定义，应该是： （adagrad）self.s[key] += np.square(layer.gradients[key]) （rmsprop）self.s[key] = self.gamma * self.s[key] + (1 - self.gamma) * np.square(layer.gradients[key])

@qianchne 确实是写错了，感谢您的反馈！