network-slimming icon indicating copy to clipboard operation
network-slimming copied to clipboard

channel_selection layer intraining process

Open wendychina opened this issue 2 years ago • 2 comments

在进行DenseNet剪枝之后,需要继续训练进行finetune,我注意到channel层的index参数是默认配置为nn.Parameter,这种配置默认需要进行训练。在我的理解中,channel_selection层应该是不需要进行训练的,比较迷惑,请问是代码有问题还是我的理解有问题

wendychina avatar Nov 12 '21 06:11 wendychina

channel_selection 虽然为nn.Parameter,但是训练过程中不会update,因为这个parameter只是作为feature map tensor 的index来使用的,所以backpropogation的时候不会有gradient。

Eric-mingjie avatar Nov 13 '21 20:11 Eric-mingjie

channel_selection 虽然为nn.Parameter,但是训练过程中不会update,因为这个parameter只是作为feature map tensor 的index来使用的,所以backpropogation的时候不会有gradient。

请问有没有遇到过channel selection layer加上去后训练速度变慢问题 (不是imagenet训练,是训练其他结构)

JudasDie avatar Nov 15 '21 13:11 JudasDie