liiicon

> 请问，效果不好，是最终的效果不好，还是说开始的效果不好？ > > 请问其他关于lr以及优化器的参数方便提供一下吗？并且baseline相关的参数也可以提供。 adan使用lr=0.001，betas=(0.98, 0.92, 0.99)，最终map会降低1%左右。 绿色是baseline使用的SGD,lr=0.01，momentum=0.999。当我的模型中backbone使用THU的纯卷积搭建的重参数化Repvit时,使用adan=0.01在训练中途直接NAN。是否是因为RepDWConv？

> 应该不是DWconv的问题，看样子Adan像过拟合了。可以尝试： > 1. 加一点weight_decay: weight_decay=0.01 > 2. 或者grad_clip: max_grad_norm=1.0或者0.5或者0.1 > 3. 调整beta3: betas=(0.98, 0.92, 0.999)，你也可以试着调整beta1，Adan的beta1等价于Adam的beta1或者SGD的momentum。不过我的经验是，Adan beta1不是特别敏感。 > 4. 可以引入Warmup lr的机制，将lr逐步增大到你想要的值。 > > 个人觉得前3条能解决你的问题。 > > 另外，SGD的momentum用0.999的话，很奇怪，0.999基本上是完全抛弃了后边的梯度。大部分SGD的momentum都在0.9-0.95之间。 十分感谢您的建议！我试着尝试一下

请问你解决了嘛

请问你解决了嘛，我在yolov7上移植了repulsion loss，和你的情况一样，前后训练值几乎一样，但是rep loss确实是参与前向传播了的 

感谢，每轮 的训练时间有减少1min左右，但是每轮评估map时还是很慢。这是使用cache之前 这是使用cache之后  我用v7训练时，每轮训练后评估map推理时间都在1min之下。