在将batchsize=8 gradient_accumulate_step=2时，模型效果会在某个epoch骤降，例如epoch16

[cx51666666]

ep11 0.5195 0.6570 0.6836 0.6691 0.4739 0.8070 0.8251 0.8201 0.2839 0.5560 0.5893 0.5750
ep12 0.5097 0.6451 0.6779 0.6520 0.4749 0.8023 0.8413 0.7968 0.2783 0.5428 0.5950 0.5458
ep13 0.5228 0.6593 0.6908 0.6678 0.4887 0.8089 0.8493 0.8016 0.2926 0.5593 0.6115 0.5624
ep14 0.5016 0.6384 0.6701 0.6471 0.4816 0.8009 0.8442 0.7907 0.2804 0.5390 0.5938 0.5396
ep15 0.4836 0.6173 0.6402 0.6341 0.4543 0.7882 0.8210 0.7894 0.2564 0.5140 0.5518 0.5294
ep16 0.0321 0.0326 0.0327 0.0330 0.0617 0.4420 0.5404 0.4246 0.0051 0.0193 0.0236 0.0182
ep17 0.4718 0.6070 0.6369 0.6188 0.4640 0.7954 0.8274 0.7955 0.2540 0.5077 0.5528 0.5177
ep18 0.0234 0.0614 0.0653 0.0884 0.0728 0.4275 0.5721 0.3758 0.0020 0.0311 0.0424 0.0374
ep19 0.0641 0.1104 0.1153 0.1312 0.0835 0.4011 0.5517 0.3408 0.0074 0.0566 0.0789 0.0568
ep20 0.1028 0.1568 0.1618 0.1744 0.1693 0.5481 0.6595 0.5117 0.0239 0.0990 0.1210 0.1038
ep21 0.0359 0.0678 0.0756 0.0782 0.4717 0.8048 0.8239 0.8183 0.0234 0.0583 0.0651 0.0684

[1xuesongzhang]

你发现怎么回事了吗