关于ld_loss计算的问题

[flazerain]

实现中ld_loss没有除以avg_factor 如果batch_size比较大的话，ld_loss会波动很大 我训练的时候ld_loss会从刚开始1左右上升到10多，又慢慢下降。

我看您推荐的batch_size是2，如果要batch_size比较大该怎么设置呢？把ld_loss的权重 0.25 除以batchsize*2? #28 #7

[HikariTJU]

推荐的是samples_per_gpu=2, 和batch_size还是有区别的。 实际上据我观察，设得更大并不会提高运行速度，所以还是推荐2。 如果你实在想要更大的samples_per_gpu, 确实可以适当调小ld_loss的权重，不过效果咋样我就不知道了。

[Python-Eric]

@flazerain 我也发现了你提到的问题，关于单显卡下的batch_size设置，如果batch设置较大，ld_loss会很大，确实是因为没有除以avg_factor引起的。所以我想知道，您有进行相应的实验么，对应的结果能够分享一下么