实验用网络

[ForeverRuri]

你好 我看了paper，也读了源码 但是似乎源码中使用的是ResNet101而论文中将其写成ResNet1001，不知以哪一个为准 此外，inception BN的结构似乎也很大，所以是否理解为Inception BN相比较ResNet1001是一个更小的模型，起到了knowledge distill的作用？ 谢谢

[ForeverRuri]

关于Paper还有一个问题，论文里提到不直接匹配teacher和student的feature maps As for distribution matching, it is not a good choice to directly match the samples from it, since it ignores the sample density in the space. 可是从NST损失函数来看，也是在将两个分布之间的差异减小，不知这有什么区别。 这是论文中最疑惑的部分，希望得到指教，谢谢。

[ForeverRuri]

One more question 请问eq3中的第一项cross entropy loss在哪里？似乎只有kd和mmd loss

[dawuchen]

@ForeverRuri 请问你复现过文章的结果没？效果怎样呢？我按文章的方法在caffe上复现后，加入mmd loss的效果比没加还差。。。

[huangzehao]

@ForeverRuri 你好， （1）我们提供的源码是基于我们imagenet的实验的，之后我们会提供cifar的代码 （2）直接match teacher student的feature maps是fitnet，我们的实验中也比较了fitnet的效果。 （3）cross-entropy loss就是公式中的第一项，即分类loss，并不是kd loss。