numpy_neural_network
numpy_neural_network copied to clipboard
仅使用numpy从头开始实现神经网络,包括反向传播公式推导过程; numpy构建全连接层、卷积层、池化层、Flatten层;以及图像分类案例及精调网络案例等,持续更新中... ...
https://github.com/yizt/numpy_neural_network/blob/master/nn/losses.py dy = y_probability - y_true 这个地方的推导不是很理解。大佬这个多分类的损失函数求梯度咋来的啊。
您好,最近阅读了您的这个仓库,受益非浅,非常感谢。 但是我对您在nn/activations.py 中的Tanh的反向传播函数有点疑惑。 def tanh_backward(next_dz): """ tanh激活反向过程 :param next_dz: :return: """ return 1 - np.square(np.tanh(next_dz)) 根据反向传播的求导,我觉得Tanh的反向函数应该是: def tanh_backward(next_dz, z): return next_dz*(1 - np.square(np.tanh(z))) 谢谢您的指教。
cross entropy的话最后一层后面还要加softmax吧
如上。