bn融合训练时就没有bn了吗相当于？

[ArtyZe]

您好，我看您代码，理解着是只要开启了bn融合后，训练时就相当于没有bn参数的更新了，就用之前的rolling mean 和variance了吗？

[666DZY666]

qat中，若加载预训练浮点模型参数，bn则在其running参数基础上继续更新；在最近更新的qaft中，会冻结。 bn融合指的是，量化训练时bn参数依然存在，但不做bn运算，而是(qat中)更新后融合到前面的conv中；量化推理时，bn融合后完全消除。 可查看相关代码。