nn.Graph Tutorial of ZeRO

[strint]

参考测试用例

https://github.com/Oneflow-Inc/oneflow/blob/master/python/oneflow/test/graph/test_graph_zero.py

API

接口1：
对应stage 1

https://oneflow.readthedocs.io/en/master/graph.html#oneflow.nn.graph.graph_config.GraphConfig.set_zero_redundancy_optimizer_mode

接口2：
对应zero stage 2

需要再打开下 flow.boxing.nccl.enable_use_compute_stream(True)

接口3：
set_zero_redundancy_optimizer_min_size_after_split 可以不打开，这个是设置参数分片的最小大小的，测试用例的参数比较小，为了保证一定做切分，才设置的

使用场景

zero目前约束是和数据并行，即参数都为Broadcast结合使用，也可以和流水并行结合使用也要求参数都为Broadcast；不能和模型并行使用，即参数为S。

[doombeaker]

https://arxiv.org/abs/1910.02054 这个是 ZeRO 的论文。

啸宇有机会的话，可以和左益豪、钟珊珊介绍下 ZeRO 以及在 OneFlow 中的大概实现吗。虽然这些原理大概率是不会直接写入到 guide 里的，但是了解下对怎么写应该还是有很大帮助的。

@strint @Alive1024 @zhongshsh

[Alive1024]

几个疑问：

关于 Issue 中的内容

• 接口3 set_zero_redundancy_optimizer_min_size_after_split 在 tutorial 中应该暂且不用提？
• 这句话 “zero 目前约束是和数据并行，即参数都为Broadcast结合使用，也可以和流水并行结合使用也要求参数都为Broadcast；不能和模型并行使用，即参数为 S。” 没太明白，“要求参数为Broadcast” 是什么意思？ZeRO 是针对数据并行策略减少显存消耗的方法、使用数据并行时不是对数据进行 split 吗？

关于 ZeRO 及在 OneFlow 中的实现

• ZeRO-DP 的这三个优化阶段是可以任意组合使用吗？有前后条件吗？
• 从测试用例看出有 ZeRO-DP 三个阶段的优化，有涉及 ZeRO-R 吗？
• API 为什么是这样设计的？感觉从函数名上不太容易联想到