ShuffleNet-Series adjust_bn_momentum的问题？

adjust_bn_momentum的问题？

Open fanchunpeng opened this issue 4 years ago • 4 comments

调整BN动量的问题？我初略看代码意思是：模型训练过程中，不进行调节；最后训练完成后，又训练了一轮数据，并对动量momentum进行调节，不知道理解的对不对？不太懂adjust_bn_momentum函数的作用？您能解答一下吗？还是某种trick操作。

May 14 '21 07:05 fanchunpeng

@fanchunpeng 作用是为了和当时的内部闭源的训练代码框架对齐，不是涨点trick。

May 14 '21 07:05 nmaac

那您的意思是这个adjust_bn_momentum函数对得分基本没有影响是吧。感谢

May 14 '21 08:05 fanchunpeng

这里采用了adjust_bn_momentum后，推理的结果和没有采用是有差异的，我转换到onnx后，差异会变大，这种情况下应该怎么处理更好？谢谢先

Sep 23 '21 05:09 alexliyang

这里采用了adjust_bn_momentum后，推理的结果和没有采用是有差异的，我转换到onnx后，差异会变大，这种情况下应该怎么处理更好？谢谢先

这种情况就删掉 adjust_bn_momentum

Sep 23 '21 05:09 nmaac