diff --git a/docs/api/paddle/distributed/ParallelEnv_cn.rst b/docs/api/paddle/distributed/ParallelEnv_cn.rst index ef37f309a15..3d5f07dc364 100644 --- a/docs/api/paddle/distributed/ParallelEnv_cn.rst +++ b/docs/api/paddle/distributed/ParallelEnv_cn.rst @@ -6,7 +6,7 @@ ParallelEnv .. py:class:: paddle.distributed.ParallelEnv() .. note:: - 不推荐使用这个 API，如果需要获取 rank 和 world_size，建议使用 ``paddle.distributed.get_rank()`` 和 ``paddle.distributed.get_world_size()`` 。 + 不推荐使用这个 API，如果需要获取 rank 和 world_size，建议使用 ``paddle.distributed.get_rank()`` 和 ``paddle.distributed.get_world_size()`` 。 这个类用于获取动态图模型并行执行所需的环境变量值。 @@ -24,7 +24,7 @@ rank 当前训练进程的编号。 -此属性的值等于环境变量 `PADDLE_TRAINER_ID` 的值。默认值是 0。 +此属性的值等于环境变量 ``PADDLE_TRAINER_ID`` 的值。默认值是 0。 **代码示例** @@ -35,7 +35,7 @@ world_size 参与训练进程的数量，一般也是训练所使用 GPU 卡的数量。 -此属性的值等于环境变量 `PADDLE_TRAINERS_NUM` 的值。默认值为 1。 +此属性的值等于环境变量 ``PADDLE_TRAINERS_NUM`` 的值。默认值为 1。 **代码示例** @@ -46,7 +46,7 @@ device_id 当前用于并行训练的 GPU 的编号。 -此属性的值等于环境变量 `FLAGS_selected_gpus` 的值。默认值是 0。 +此属性的值等于环境变量 ``FLAGS_selected_gpus`` 的值。默认值是 0。 **代码示例** @@ -57,7 +57,7 @@ current_endpoint 当前训练进程的终端节点 IP 与相应端口，形式为（机器节点 IP:端口号）。例如：127.0.0.1:6170。 -此属性的值等于环境变量 `PADDLE_CURRENT_ENDPOINT` 的值。默认值为空字符串""。 +此属性的值等于环境变量 ``PADDLE_CURRENT_ENDPOINT`` 的值。默认值为空字符串""。 **代码示例** @@ -68,7 +68,7 @@ trainer_endpoints 当前任务所有参与训练进程的终端节点 IP 与相应端口，用于在 NCCL2 初始化的时候建立通信，广播 NCCL ID。 -此属性的值等于环境变量 `PADDLE_TRAINER_ENDPOINTS` 的值。默认值为空字符串""。 +此属性的值等于环境变量 ``PADDLE_TRAINER_ENDPOINTS`` 的值。默认值为空字符串""。 **代码示例** diff --git a/docs/api/paddle/distributed/Strategy_cn.rst b/docs/api/paddle/distributed/Strategy_cn.rst index 2f4909104ba..b7f7655d43e 100644 --- a/docs/api/paddle/distributed/Strategy_cn.rst +++ b/docs/api/paddle/distributed/Strategy_cn.rst @@ -35,11 +35,11 @@ sharding 优化器分片策略，包含以下配置项： - - **``enable``** (bool) - 是否启用优化器分片策略。默认：False。 + - **enable** (bool) - 是否启用优化器分片策略。默认：False。 - - **``stage``** (int) - 可以设置为 1、2 或 3。1 表示切分优化器状态，2 代表切分优化器状态和梯度，3 表示切分优化器状态、梯度和参数。默认：1。 + - **stage** (int) - 可以设置为 1、2 或 3。1 表示切分优化器状态，2 代表切分优化器状态和梯度，3 表示切分优化器状态、梯度和参数。默认：1。 - - **``degree``** (int) - 分片的数量。默认：8。 + - **degree** (int) - 分片的数量。默认：8。 **代码示例** @@ -51,11 +51,11 @@ fused_passes 计算融合策略，包含以下配置项： - - **``enable``** (bool) - 是否启用计算融合策略。默认：False。 + - **enable** (bool) - 是否启用计算融合策略。默认：False。 - - **``gemm_epilogue``** (bool) - 是否融合 ``Linear`` 层中的 ``matmul`` 和 ``add`` 计算。默认：False。 + - **gemm_epilogue** (bool) - 是否融合 ``Linear`` 层中的 ``matmul`` 和 ``add`` 计算。默认：False。 - - **``dropout_add``** (bool) - 是否融合 ``dropout`` 和 ``add`` 计算。默认：False。 + - **dropout_add** (bool) - 是否融合 ``dropout`` 和 ``add`` 计算。默认：False。 **代码示例** @@ -67,11 +67,11 @@ gradient_merge 梯度融合策略，包含以下配置项： - - **``enable``** (bool) - 是否启用梯度融合策略。默认：False。 + - **enable** (bool) - 是否启用梯度融合策略。默认：False。 - - **``k_steps``** (int) - 梯度融合的步数。默认：1。 + - **k_steps** (int) - 梯度融合的步数。默认：1。 - - **``avg``** (bool) - 是否平均梯度。默认：True。 + - **avg** (bool) - 是否平均梯度。默认：True。 **代码示例** @@ -83,13 +83,13 @@ pipeline 流水线并行策略，包含以下配置项： - - **``enable``** (bool) - 是否启用流水线并行策略。默认：False。 + - **enable** (bool) - 是否启用流水线并行策略。默认：False。 - - **``schedule_mode``** (str) - 流水线并行的调度模式。默认：1F1B。 + - **schedule_mode** (str) - 流水线并行的调度模式。默认：1F1B。 - - **``micro_batch_size``** (int) - mini-batch 中包含的每个 micro-batch 的大小。默认：1。 + - **micro_batch_size** (int) - mini-batch 中包含的每个 micro-batch 的大小。默认：1。 - - **``accumulate_steps``** (int) - 累积步数。默认：1。 + - **accumulate_steps** (int) - 累积步数。默认：1。 **代码示例** diff --git a/docs/api/paddle/distributed/parallelize_cn.rst b/docs/api/paddle/distributed/parallelize_cn.rst index 48fcdc01c14..e6297a1d3f5 100644 --- a/docs/api/paddle/distributed/parallelize_cn.rst +++ b/docs/api/paddle/distributed/parallelize_cn.rst @@ -20,7 +20,7 @@ parallelize - **mesh** (paddle.distributed.ProcessMesh，可选) - 模型与优化器（如提供）并行所发生的进程空间。最佳用法：在调用本 API 之前，通过 调用 ``paddle.distributed.set_mesh`` 方法来配置 mesh 信息，并将本 API 的 mesh 参数设置为 None。注意，如果您通过本 API 传递 了 mesh 信息，传入的 mesh 会覆盖外部设置的 mesh。 - - **config** (dict，可选) - 用来指导并行化的配置。该配置是一个字典，键的值可以从``dp_config``，``mp_config`` 与 + - **config** (dict，可选) - 用来指导并行化的配置。该配置是一个字典，键的值可以从 ``dp_config``，``mp_config`` 与 ``pp_config`` 中进行选择，分别来指导数据并行、模型并行与流水线并行的并行化。一个合法的 config 可以是： ``{"dp_config": 请参考本文档 dp_config 部分以获取更多内容, "mp_config": 请参考本文档 mp_config 部分以获取更多内容, "pp_config": 请参考本文档 pp_config 部分以获取更多内容}``。