请问如何实现训练过程中改变batch_size呢

[LiuChen19960902]

读了Yi的技术报告感觉学习到了很多的知识，其中对这一点有比较强的兴趣，希望作者可以赐教。

To optimize the training process, we maintain a constant learning rate of 3e-5, and adopt a strategic approach to gradually increase the batch size from 4M tokens whenever the model’s loss plateaued.

[itsliupeng]

主要是结合我们的训练框架通过设置 train-samples 而不是 train-iters 方式来说实现，当观察到 loss 不再明显下降时，通过增大batch_size，一般加倍，来使loss 继续下降