Merge remote-tracking branch 'upstream/develop' into fix1009

Author: hd9568

docs/api/paddle/distributed/Strategy_cn.rst

@@ -35,11 +35,11 @@ sharding
 
 优化器分片策略，包含以下配置项：
 
-    - **``enable``** (bool) - 是否启用优化器分片策略。默认：False。
+    - **enable** (bool) - 是否启用优化器分片策略。默认：False。
 
-    - **``stage``** (int) - 可以设置为 1、2 或 3。1 表示切分优化器状态，2 代表切分优化器状态和梯度，3 表示切分优化器状态、梯度和参数。默认：1。
+    - **stage** (int) - 可以设置为 1、2 或 3。1 表示切分优化器状态，2 代表切分优化器状态和梯度，3 表示切分优化器状态、梯度和参数。默认：1。
 
-    - **``degree``** (int) - 分片的数量。默认：8。
+    - **degree** (int) - 分片的数量。默认：8。
 
 **代码示例**
 
@@ -51,11 +51,11 @@ fused_passes
 
 计算融合策略，包含以下配置项：
 
-    - **``enable``** (bool) - 是否启用计算融合策略。默认：False。
+    - **enable** (bool) - 是否启用计算融合策略。默认：False。
 
-    - **``gemm_epilogue``** (bool) - 是否融合 ``Linear`` 层中的 ``matmul`` 和 ``add`` 计算。默认：False。
+    - **gemm_epilogue** (bool) - 是否融合 ``Linear`` 层中的 ``matmul`` 和 ``add`` 计算。默认：False。
 
-    - **``dropout_add``** (bool) - 是否融合 ``dropout`` 和 ``add`` 计算。默认：False。
+    - **dropout_add** (bool) - 是否融合 ``dropout`` 和 ``add`` 计算。默认：False。
 
 **代码示例**
 
@@ -67,11 +67,11 @@ gradient_merge
 
 梯度融合策略，包含以下配置项：
 
-    - **``enable``** (bool) - 是否启用梯度融合策略。默认：False。
+    - **enable** (bool) - 是否启用梯度融合策略。默认：False。
 
-    - **``k_steps``** (int) - 梯度融合的步数。默认：1。
+    - **k_steps** (int) - 梯度融合的步数。默认：1。
 
-    - **``avg``** (bool) - 是否平均梯度。默认：True。
+    - **avg** (bool) - 是否平均梯度。默认：True。
 
 **代码示例**
 
@@ -83,13 +83,13 @@ pipeline
 
 流水线并行策略，包含以下配置项：
 
-    - **``enable``** (bool) - 是否启用流水线并行策略。默认：False。
+    - **enable** (bool) - 是否启用流水线并行策略。默认：False。
 
-    - **``schedule_mode``** (str) - 流水线并行的调度模式。默认：1F1B。
+    - **schedule_mode** (str) - 流水线并行的调度模式。默认：1F1B。
 
-    - **``micro_batch_size``** (int) - mini-batch 中包含的每个 micro-batch 的大小。默认：1。
+    - **micro_batch_size** (int) - mini-batch 中包含的每个 micro-batch 的大小。默认：1。
 
-    - **``accumulate_steps``** (int) - 累积步数。默认：1。
+    - **accumulate_steps** (int) - 累积步数。默认：1。
 
 **代码示例**
 

docs/api/paddle/distributed/fleet/UtilBase_cn.rst

@@ -9,43 +9,43 @@ UtilBase
 方法
 ::::::::::::
 all_reduce(input, mode="sum", comm_world="worker")
-'''''''''
+''''''''''''''''''''''''''''''''''''''''''''''''''
 在指定的通信集合间进行归约操作，并将归约结果返回给集合中每个实例。
 
 **参数**
 
     - **input** (list|tuple|numpy.array) – 归约操作的输入。
     - **mode** (str) - 归约操作的模式，包含求和，取最大值和取最小值，默认为求和归约。
-    - **comm_world** (str) - 归约操作的通信集合，包含：server 集合(``server``)，worker 集合(``worker``)及所有节点集合(``all``)，默认为 worker 集合。
+    - **comm_world** (str) - 归约操作的通信集合，包含：server 集合 (``server``)，worker 集合 (``worker``) 及所有节点集合 (``all``)，默认为 worker 集合。
 
 **返回**
 
-Numpy.array|None：一个和``input``形状一致的 numpy 数组或 None。
+Numpy.array|None：一个和 ``input`` 形状一致的 numpy 数组或 None。
 
 **代码示例**
 
 COPY-FROM: paddle.distributed.fleet.UtilBase.all_reduce
 
 barrier(comm_world="worker")
-'''''''''
+''''''''''''''''''''''''''''
 在指定的通信集合间进行阻塞操作，以实现集合间进度同步。
 
 **参数**
 
-   - **comm_world** (str) - 阻塞操作的通信集合，包含：server 集合(``server``)，worker 集合(``worker``)及所有节点集合(``all``)，默认为 worker 集合。
+   - **comm_world** (str) - 阻塞操作的通信集合，包含：server 集合 (``server``)，worker 集合 (``worker``) 及所有节点集合 (``all``)，默认为 worker 集合。
 
 **代码示例**
 
 COPY-FROM: paddle.distributed.fleet.UtilBase.barrier
 
 all_gather(input, comm_world="worker")
-'''''''''
+''''''''''''''''''''''''''''''''''''''''
 在指定的通信集合间进行聚合操作，并将聚合的结果返回给集合中每个实例。
 
 **参数**
 
    - **input** (int|float) - 聚合操作的输入。
-   - **comm_world** (str) - 聚合操作的通信集合，包含：server 集合(``server``)，worker 集合(``worker``)及所有节点集合(``all``)，默认为 worker 集合。
+   - **comm_world** (str) - 聚合操作的通信集合，包含：server 集合 (``server``)，worker 集合 (``worker``) 及所有节点集合 (``all``)，默认为 worker 集合。
 
 **返回**
 
@@ -56,7 +56,7 @@ all_gather(input, comm_world="worker")
 COPY-FROM: paddle.distributed.fleet.UtilBase.all_gather
 
 get_file_shard(files)
-'''''''''
+'''''''''''''''''''''
 在数据并行的分布式训练中，获取属于当前训练节点的文件列表。
 
 .. code-block:: text
@@ -77,8 +77,7 @@ get_file_shard(files)
 COPY-FROM: paddle.distributed.fleet.UtilBase.get_file_shard
 
 print_on_rank(message, rank_id)
-'''''''''
-
+'''''''''''''''''''''''''''''''''
 在编号为 `rank_id` 的节点上打印指定信息。
 
 **参数**