minimind icon indicating copy to clipboard operation
minimind copied to clipboard

Published 20 hours ago • verified publisher icon jingyaogong

梯度累计问题

Open xueyunlong12589 opened this issue 1 day ago • 0 comments

作者在训练中使用了梯度累积，但是学习率却在trainer_loder的的每个step都有下降，理应在每次梯度下降是更新学习率，而不是每次step。 同样的问题出现在模型保存和日志打印中，interval应该为梯度下降次数为单位，而不是step

xueyunlong12589 avatar Feb 26 '25 08:02 xueyunlong12589