在将batchsize=8 gradient_accumulate_step=2时，模型效果会在某个epoch骤降，例如epoch16

[cx51666666]

ep11 0.5195 0.6570 0.6836 0.6691 0.4739 0.8070 0.8251 0.8201 0.2839 0.5560 0.5893 0.5750 ep12 0.5097 0.6451 0.6779 0.6520 0.4749 0.8023 0.8413 0.7968 0.2783 0.5428 0.5950 0.5458 ep13 0.5228 0.6593 0.6908 0.6678 0.4887 0.8089 0.8493 0.8016 0.2926 0.5593 0.6115 0.5624 ep14 0.5016 0.6384 0.6701 0.6471 0.4816 0.8009 0.8442 0.7907 0.2804 0.5390 0.5938 0.5396 ep15 0.4836 0.6173 0.6402 0.6341 0.4543 0.7882 0.8210 0.7894 0.2564 0.5140 0.5518 0.5294 ep16 0.0321 0.0326 0.0327 0.0330 0.0617 0.4420 0.5404 0.4246 0.0051 0.0193 0.0236 0.0182 ep17 0.4718 0.6070 0.6369 0.6188 0.4640 0.7954 0.8274 0.7955 0.2540 0.5077 0.5528 0.5177 ep18 0.0234 0.0614 0.0653 0.0884 0.0728 0.4275 0.5721 0.3758 0.0020 0.0311 0.0424 0.0374 ep19 0.0641 0.1104 0.1153 0.1312 0.0835 0.4011 0.5517 0.3408 0.0074 0.0566 0.0789 0.0568 ep20 0.1028 0.1568 0.1618 0.1744 0.1693 0.5481 0.6595 0.5117 0.0239 0.0990 0.1210 0.1038 ep21 0.0359 0.0678 0.0756 0.0782 0.4717 0.8048 0.8239 0.8183 0.0234 0.0583 0.0651 0.0684

[1xuesongzhang]

你发现怎么回事了吗