Skip to content
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
12 changes: 6 additions & 6 deletions docs/api/paddle/distributed/ParallelEnv_cn.rst
Original file line number Diff line number Diff line change
Expand Up @@ -6,7 +6,7 @@ ParallelEnv
.. py:class:: paddle.distributed.ParallelEnv()

.. note::
不推荐使用这个 API,如果需要获取 rank 和 world_size,建议使用 ``paddle.distributed.get_rank()`` 和 ``paddle.distributed.get_world_size()`` 。
不推荐使用这个 API,如果需要获取 rank 和 world_size,建议使用 ``paddle.distributed.get_rank()`` 和 ``paddle.distributed.get_world_size()`` 。

这个类用于获取动态图模型并行执行所需的环境变量值。

Expand All @@ -24,7 +24,7 @@ rank

当前训练进程的编号。

此属性的值等于环境变量 `PADDLE_TRAINER_ID` 的值。默认值是 0。
此属性的值等于环境变量 ``PADDLE_TRAINER_ID`` 的值。默认值是 0。

**代码示例**

Expand All @@ -35,7 +35,7 @@ world_size

参与训练进程的数量,一般也是训练所使用 GPU 卡的数量。

此属性的值等于环境变量 `PADDLE_TRAINERS_NUM` 的值。默认值为 1。
此属性的值等于环境变量 ``PADDLE_TRAINERS_NUM`` 的值。默认值为 1。

**代码示例**

Expand All @@ -46,7 +46,7 @@ device_id

当前用于并行训练的 GPU 的编号。

此属性的值等于环境变量 `FLAGS_selected_gpus` 的值。默认值是 0。
此属性的值等于环境变量 ``FLAGS_selected_gpus`` 的值。默认值是 0。

**代码示例**

Expand All @@ -57,7 +57,7 @@ current_endpoint

当前训练进程的终端节点 IP 与相应端口,形式为(机器节点 IP:端口号)。例如:127.0.0.1:6170。

此属性的值等于环境变量 `PADDLE_CURRENT_ENDPOINT` 的值。默认值为空字符串""。
此属性的值等于环境变量 ``PADDLE_CURRENT_ENDPOINT`` 的值。默认值为空字符串""。

**代码示例**

Expand All @@ -68,7 +68,7 @@ trainer_endpoints

当前任务所有参与训练进程的终端节点 IP 与相应端口,用于在 NCCL2 初始化的时候建立通信,广播 NCCL ID。

此属性的值等于环境变量 `PADDLE_TRAINER_ENDPOINTS` 的值。默认值为空字符串""。
此属性的值等于环境变量 ``PADDLE_TRAINER_ENDPOINTS`` 的值。默认值为空字符串""。

**代码示例**

Expand Down
26 changes: 13 additions & 13 deletions docs/api/paddle/distributed/Strategy_cn.rst
Original file line number Diff line number Diff line change
Expand Up @@ -35,11 +35,11 @@ sharding

优化器分片策略,包含以下配置项:

- **``enable``** (bool) - 是否启用优化器分片策略。默认:False。
- **enable** (bool) - 是否启用优化器分片策略。默认:False。

- **``stage``** (int) - 可以设置为 1、2 或 3。1 表示切分优化器状态,2 代表切分优化器状态和梯度,3 表示切分优化器状态、梯度和参数。默认:1。
- **stage** (int) - 可以设置为 1、2 或 3。1 表示切分优化器状态,2 代表切分优化器状态和梯度,3 表示切分优化器状态、梯度和参数。默认:1。

- **``degree``** (int) - 分片的数量。默认:8。
- **degree** (int) - 分片的数量。默认:8。

**代码示例**

Expand All @@ -51,11 +51,11 @@ fused_passes

计算融合策略,包含以下配置项:

- **``enable``** (bool) - 是否启用计算融合策略。默认:False。
- **enable** (bool) - 是否启用计算融合策略。默认:False。

- **``gemm_epilogue``** (bool) - 是否融合 ``Linear`` 层中的 ``matmul`` 和 ``add`` 计算。默认:False。
- **gemm_epilogue** (bool) - 是否融合 ``Linear`` 层中的 ``matmul`` 和 ``add`` 计算。默认:False。

- **``dropout_add``** (bool) - 是否融合 ``dropout`` 和 ``add`` 计算。默认:False。
- **dropout_add** (bool) - 是否融合 ``dropout`` 和 ``add`` 计算。默认:False。

**代码示例**

Expand All @@ -67,11 +67,11 @@ gradient_merge

梯度融合策略,包含以下配置项:

- **``enable``** (bool) - 是否启用梯度融合策略。默认:False。
- **enable** (bool) - 是否启用梯度融合策略。默认:False。

- **``k_steps``** (int) - 梯度融合的步数。默认:1。
- **k_steps** (int) - 梯度融合的步数。默认:1。

- **``avg``** (bool) - 是否平均梯度。默认:True。
- **avg** (bool) - 是否平均梯度。默认:True。

**代码示例**

Expand All @@ -83,13 +83,13 @@ pipeline

流水线并行策略,包含以下配置项:

- **``enable``** (bool) - 是否启用流水线并行策略。默认:False。
- **enable** (bool) - 是否启用流水线并行策略。默认:False。

- **``schedule_mode``** (str) - 流水线并行的调度模式。默认:1F1B。
- **schedule_mode** (str) - 流水线并行的调度模式。默认:1F1B。

- **``micro_batch_size``** (int) - mini-batch 中包含的每个 micro-batch 的大小。默认:1。
- **micro_batch_size** (int) - mini-batch 中包含的每个 micro-batch 的大小。默认:1。

- **``accumulate_steps``** (int) - 累积步数。默认:1。
- **accumulate_steps** (int) - 累积步数。默认:1。

**代码示例**

Expand Down
2 changes: 1 addition & 1 deletion docs/api/paddle/distributed/parallelize_cn.rst
Original file line number Diff line number Diff line change
Expand Up @@ -20,7 +20,7 @@ parallelize
- **mesh** (paddle.distributed.ProcessMesh,可选) - 模型与优化器(如提供)并行所发生的进程空间。最佳用法:在调用本 API 之前,通过
调用 ``paddle.distributed.set_mesh`` 方法来配置 mesh 信息,并将本 API 的 mesh 参数设置为 None。注意,如果您通过本 API 传递
了 mesh 信息,传入的 mesh 会覆盖外部设置的 mesh。
- **config** (dict,可选) - 用来指导并行化的配置。该配置是一个字典,键的值可以从``dp_config``,``mp_config`` 与
- **config** (dict,可选) - 用来指导并行化的配置。该配置是一个字典,键的值可以从 ``dp_config``,``mp_config`` 与
``pp_config`` 中进行选择,分别来指导数据并行、模型并行与流水线并行的并行化。一个合法的 config 可以是: ``{"dp_config":
请参考本文档 dp_config 部分以获取更多内容, "mp_config": 请参考本文档 mp_config 部分以获取更多内容,
"pp_config": 请参考本文档 pp_config 部分以获取更多内容}``。
Expand Down