How to Train Such a Network like ScaleNet-38 on Cifar100?

[GuideWsp]

Will you provide the code about how to allocate neuron based on Algorithm 1 as in the paper? Thanks for you reply.

[Eli-YiLi]

Use layer[1-3] in scalenet.py and add a json file to describe the structure in the paper supplement.

[GuideWsp]

我想了解一下如何将一个多分支相同通道数的网络按照你论文中算法1裁剪为多分支不同通道数的网络。 我认为该算法才是ScalaNet的核心。

[Eli-YiLi]

简单来说逐block逐channel的对通道进行评分，参照标准是bn的scale参数，取预定计算复杂度下top的bn_scale对应的神经元并统计所在尺度。评分除了依照scale还要考虑计算复杂度，scale/cost，论文中为简化超参，cost加了一个0次指数(只看scale)。另外避免如剪枝一样在全局优化只对当前block进行排序，而非全局。

在 2019-06-24 11:51:03，"GuideWsp" [email protected] 写道：

我想了解一下如何将一个多分支相同通道数的网络按照你论文中算法1裁剪为多分支不同通道数的网络。 我认为该算法才是ScalaNet的核心。

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

[GuideWsp]

谢谢反馈。我们的复现方式也是只考虑BN层中scale，对每个block中的scale按照大小排序选择。 但有一点没搞明白，那就是：每个block最终残留的总体通道数是如何确定的？这个参数直接决定了最终模型的大小。