machinelearning issues

DNN

1

您好，最近在学习DNN。前后向传播、激活函数+损失函数、正则化都有所了解。现在的困扰是，对于DNN来说，重点是什么呢？现在的理解是前面那4个概念+网络结构(流行的网络结构，如CNN，RNN等)，我需要做的就是学习这些网络结构去解决工作中遇到的问题。我的意思是，还有什么其他的重点，比如，网络慢，效果不好等这些具体的情况该如何优化之类的知识

xaxfan

“卷积神经网络(CNN)反向传播算法”的MATLAB实现

2

加入了此篇博客[“卷积神经网络(CNN)反向传播算法”](https://www.cnblogs.com/pinard/p/6494810.html)的MATLAB代码实现，如有必要，麻烦作者可以引用一下[这个link](https://github.com/cuixing158/DeeplearningPractice)。

cuixing158

你好，我想问一下就是最后求权重梯度的。 1.我的各个门的输出变量的维度是（batchsize,hiddensize）,输入变量x的维度是（batchsize,inputsize），因为我有batchsize嘛，所以想batchsize中的每个样本单独计算，但是现在的维度并不一致。δ(t)C⊙C(t−1)⊙f(t)⊙(1−f(t))计算完的维度是（hiddensize），然而，h(t−1)的维度也是（hiddensize），(h(t−1))T转置之后的维度是（1,hiddensize），这样进行矩阵乘法后，计算出来的维度是1,但我的Wfh的维度是（hiddensize,hiddensize）啊，后来对于这个问题，我用δ(t)C⊙C(t−1)⊙f(t)⊙(1−f(t)) * h(t−1).unsqueeze(dim=1)，这样维度对了，请问这样可以嘛？ 2.当为计算Wfx的维度的时候，δ(t)C⊙C(t−1)⊙f(t)⊙(1−f(t))计算完的维度是（hiddensize），然而，x(t)的维度是（inputsize），两者又出现不一致的情况，我又将矩阵乘法改成了δ(t)C⊙C(t−1)⊙f(t)⊙(1−f(t)).unsqueeze(dim=1) * x(t).unsqueeze(dim=0)，不知道这样写严不严谨？希望能得到您的帮助

ghost