cd1200

> 最近仔细看了下您的代码，有几个问题想咨询一下。 > > 1. 我看到您在其他issue里面说分类结果的蒸馏是在代码里没有用到，因为提升特别小。但是论文中的table 5应该就是专门对分类部分的蒸馏做了实验，论文中实验证明能够提高student模型1.5个点左右。那对分类部分进行蒸馏效果究竟如何呢？还是说分类头蒸馏对参数特别敏感？ > 2. 对于特征kd loss，您采用了decouple的方式来分别计算前背景损失。训练过程中，特征kd loss的值(无论是前景还是背景)都比gt loss (包括loss_rpn_cls, loss_rpn_bbox和loss_cls)大很多，甚至高一到两个数量级，这样不会导致模型更倾向于去侧重于降低losskd而忽略了gt损失吗？ > 3. 对于前背景kd loss，您代码中是设置了3和12两个不同的权重，请问前背景的kd loss权重设置有什么讲究吗？ > > 感谢您的回答。 @ggjy 1. table 5 是ROI损失（使用教师网的proposal在教师网和学生网的rpn特征crop获取ROI，然后再蒸馏两个ROI的分类score），不是检测头损失； 2. 第二个问题不清楚；...