mdistiller icon indicating copy to clipboard operation
mdistiller copied to clipboard

DKD+reviewKD有样例.yaml配置吗?代码里面也没看到有结合的地方?

Open leo19850812 opened this issue 2 years ago • 2 comments

leo19850812 avatar May 25 '22 02:05 leo19850812

是指DKD+ReviewKD在MS-COCO上的实验吗?我们也刚刚发现这个遗漏,结合方式就是同时使用dkd loss和reviewkd loss,后面会更新相关的代码和config。

Zzzzz1 avatar Jun 02 '22 09:06 Zzzzz1

@Zzzzz1

請問在 train coco with ReviewKD 的時候,teacher net 是的 bn 是用 training mode 還是 eval mode? 從 code 上面看不出有切換到 eval mode

twmht avatar Jun 10 '22 09:06 twmht

@Zzzzz1

請問在 train coco with ReviewKD 的時候,teacher net 是的 bn 是用 training mode 還是 eval mode? 從 code 上面看不出有切換到 eval mode

训练所有网络时bn都是eval mode,在Distiller的基类里面写好了teacher.eval()

Zzzzz1 avatar Oct 13 '22 03:10 Zzzzz1

@Zzzzz1

請問在 train coco with ReviewKD 的時候,teacher net 是的 bn 是用 training mode 還是 eval mode? 從 code 上面看不出有切換到 eval mode

请问意思是用教师给学生蒸馏训练的时候,教师要用eval mode吗

ufestkc avatar Oct 18 '23 12:10 ufestkc