请教一个问题，如果我mp=1 能收敛，但是mp>1 时不收敛，如何快速定位问题？

[XiaoqingNLP]

1. 检查了代码，使用的是deepspeed 和megatron 里面的mpu，初始化以及模型训练按deepspeed文档实现；目前在小模型上测试，2层小网络，网络参数3亿；
2. 按理论mp不应该影响收敛性，另外对比过mp=1 和mp=2时的数据，数据除了预训练的掩码有差异，并无其它异常；
3. 目前观测到的现象是，在mp=2时，有一些训练步会出现溢出，会是初始化数值不合适吗？而mp=1时，较少出现。

所以有什么好的办法能快速发现问题吗？

目前想法是

1. 检查模型并行mp=2的梯度和与mp=1时的梯度进行比较发现问题