初始化参数问题

[charles-str]

您好，我按照您的方法训练,w初始设置0 ，在训练完成w还是0，这样的话non-local就不起作用了啊，望解答，谢谢。

[AlexHex7]

@csg1111 请问训练的是demo_MNIST.py吗？ 另外训练的时候loss有下降吗，是不是没有loss.backward()以后，没有更新参数？

[charles-str]

我是把您的代码放在了我自己代码中，w参数设置0，最后学习到的也是0，所以non-local就相当于不起作用，我的问题是不是因为w参数设置为0的问题，w可以设置成其他初始化类型吗？

[charles-str]

我是把您的代码放在了我自己代码中，w参数设置0，最后学习到的也是0，所以non-local就相当于不起作用，我的问题是不是因为w参数设置为0的问题，w可以设置成其他初始化类型吗？

在我的代码中loss是下降的，训练后w最后是0，但是其他参数均不是0。我把他集成到我的检测代码中了

[AlexHex7]

如果不设置为0,结果会怎样？

我测试了一下，demo_MNIST.py训练后不是0. 之前我也有可视化过block里面的矩阵，不会存在全0的情况。

可以把代码放出来吗？会不会是optimizer里面没有把block的参数传进去？

[charles-str]

您好，我在您的基础上把图像non-local改到视频上了，感觉怪怪的，您能给看看吗？qq:1357715848

[chen-ming2019]

@AlexHex7 你好，non-local block的参数初始化你是怎么设置的，我想把它用在视频分类当中，我自己初始化的参数，训练的很糟糕，能说一下你的初始化参数吗？谢谢

[Mrils]

@csg1111 请问你解决了吗？我也遇到了W最后全为0的问题。