关于尝试预训练

[hmzo]

首先非常感谢大佬们的无私开源。
我尝试跑cpm-ant的预训练脚本：pretrain_cpm_ant.sh
发现在只有1个 A100-80G 节点时，throughout (token/s) 为 1300+，而切换为2个节点后只有300左右。请问这是正常的吗？如果不正常我该往哪些方面debug呢？
然后这个throughout应该乘以gpu的个数，才是整体的吞吐率吗？

非常感谢大佬能够解惑！

[a710128]

多卡的话需要注意一下GPU之间的通讯带宽。多机训练还需要额外注意机器之间的通信带宽。
多卡训练如果速度显著的慢于单卡训练，很有可能是因为用于训练的两个GPU之间通信带宽太小，导致了GPU之间通信成为模型训练的瓶颈。

[hmzo]

哦哦，谢谢解惑。如果网络带宽没法增大，bmtrain推荐如何配置呢？比如能不能设置降低并行度，减小通信量

[a710128]

可以试一下zero_level=2，然后把batch size尽量调大

import bmtrain as bmt
bmt.init_distributed(
    zero_level=2
)

[greenteaofwhu]

我也碰到了这个问题，我在使用DeepSpeed的时候没有这么明显的差距，不知道为啥