输出日志里的loss计算

[shuizhonghaitong]

在trainer.py中，在backward结束后，为了输出loss会对total_loss做一个all_reduce的操作，但是并未对crf_loss和gl_loss做all_reduce的操作，为什么在后面gl_loss/=size，crf_loss/=size。我理解的难道是因为在对total_loss做all_reduce时，crf_loss和gl_loss也会做相应的改变吗？希望您可以解释一下，谢谢~