File tree Expand file tree Collapse file tree 1 file changed +3
-3
lines changed
examples/semantic_indexing Expand file tree Collapse file tree 1 file changed +3
-3
lines changed Original file line number Diff line number Diff line change @@ -235,7 +235,7 @@ python -u -m paddle.distributed.launch --gpus "0" \
235
235
## 使用 FasterTransformer 加速预测
236
236
237
237
我们基于 Paddle 自定义算子功能集成了[ NVIDIA FasterTransformer] ( https://github.com/NVIDIA/FasterTransformer ) 的高性能加速能力,通过简单易用的 Python API 即可得到 GPU 上更高性能预测能力。
238
- - FT FP32 相比 Paddle 前向加速比为 1.13 ~ 4.18
238
+ - FT FP32 相比 Paddle 前向加速比为 1.13 ~ 4.36
239
239
- FT FP16 相比 Paddle 前向加速比为 3.65 ~ 5.42
240
240
- 支持 Post-Normalization 和 Pre-Normalizaiton 2 种 Transformer 结构
241
241
- 支持 GELU 和 RELU 2 个激活函数
@@ -244,7 +244,7 @@ python -u -m paddle.distributed.launch --gpus "0" \
244
244
245
245
| batch size | max_seq_len | Paddle 前向(ms)| FT FP32(ms) | FT FP16(ms) | Speedup(FT FP32/Paddle)| Speedup(FT FP16/Paddle)|
246
246
| ---------- | ----------- | ------------------- | ------------------- | ------------------ | ------------------ | ------------------ |
247
- | 16 | 16 | 23.56 | 5.40 | 5.38 | 4.18 | 4.19 |
247
+ | 16 | 16 | 23.56 | 5.40 | 5.38 | 4.36 | 4.38 |
248
248
| 16 | 32 | 22.34 | 8.11 | 5.57| 2.75| 4.01|
249
249
| 16 | 64 | 22.79 | 14.84 | 5.39| 1.54| 4.23|
250
250
| 32 | 16 | 23.41 | 8.16 | 5.30| 2.87| 4.42|
@@ -265,7 +265,7 @@ cuDNN: 7.6
265
265
可参考如下命令使用高性能预测能力
266
266
``` shell
267
267
python -u -m paddle.distributed.launch --gpus " 0" faster_predict.py \
268
- --init_from_params " batch_neg_v1.0/model_state.pdparams" \
268
+ --params_path " batch_neg_v1.0/model_state.pdparams" \
269
269
--output_emb_size 256 \
270
270
--batch_size 32 \
271
271
--max_seq_length 64 \
You can’t perform that action at this time.
0 commit comments