network-slimming
network-slimming copied to clipboard
channel_selection layer intraining process
在进行DenseNet剪枝之后,需要继续训练进行finetune,我注意到channel层的index参数是默认配置为nn.Parameter,这种配置默认需要进行训练。在我的理解中,channel_selection层应该是不需要进行训练的,比较迷惑,请问是代码有问题还是我的理解有问题
channel_selection 虽然为nn.Parameter,但是训练过程中不会update,因为这个parameter只是作为feature map tensor 的index来使用的,所以backpropogation的时候不会有gradient。
channel_selection 虽然为nn.Parameter,但是训练过程中不会update,因为这个parameter只是作为feature map tensor 的index来使用的,所以backpropogation的时候不会有gradient。
请问有没有遇到过channel selection layer加上去后训练速度变慢问题 (不是imagenet训练,是训练其他结构)