[Cherry-Pick][Doc] Android NNPI, TIM-VX, TensorRT (#8950)

yingshengBD · web-flow · commit e945b2d1b517 · 2022-04-26T23:32:46.000+08:00
test=document_fix
diff --git a/docs/demo_guides/android_nnapi.md b/docs/demo_guides/android_nnapi.md
@@ -1,15 +1,15 @@
-# Android NN API 部署示例
+# Android NNAPI 部署示例
 
-Paddle Lite 已支持 Android NN API 的预测部署。
-其接入原理是加载并分析 Paddle 模型，将 Paddle 算子先转为统一的 NNAdapter 标准算子，再通过 Android NN API 进行网络构建，在线生成并执行模型。
-需要注意由于不同 SoC 芯片对 Android NN API 的支持程度不同，其底层各个计算 IP（CPU、GPU、DSP、NPU 等）对 Android NN API 的支持也不同，性能也会有较大区别。
-用户可以在运行日志中，搜索关键字『Available devices:』来查看当前 SoC 对 Android NN API 的支持情况。
+Paddle Lite 已支持 Android NNAPI 的预测部署。
+其接入原理是加载并分析 Paddle 模型，将 Paddle 算子先转为统一的 NNAdapter 标准算子，再通过 Android NNAPI 进行网络构建，在线生成并执行模型。
+需要注意由于不同 SoC 芯片对 Android NNAPI 的支持程度不同，其底层各个计算 IP（CPU、GPU、DSP、NPU 等）对 Android NNAPI 的支持也不同，性能也会有较大区别。
+用户可以在运行日志中，搜索关键字『Available devices:』来查看当前 SoC 对 Android NNAPI 的支持情况。
 
 ## 支持现状
 
 ### 已支持的设备
 
-- 所有支持 Android NN API 的终端设备，Android SDK version 需在 27 及以上。
+- 所有支持 Android NNAPI 的终端设备，系统版本 Android 8.1(Oreo) 及以上，Android SDK version 需在 27 及以上。
 
 ### 已支持的 Paddle 模型
 
@@ -38,9 +38,9 @@ Paddle Lite 已支持 Android NN API 的预测部署。
   - warmup=1，repeats=5，统计平均时间，单位是 ms
   - 线程数为 1，`paddle::lite_api::PowerMode CPU_POWER_MODE` 设置为 ` paddle::lite_api::PowerMode::LITE_POWER_HIGH`
   - 分类模型的输入图像维度是{1, 3, 224, 224}，检测模型的维度是{1, 3, 300, 300}
-  - 华为 Kirin NPU 对 Android NN API 的支持程度较高，但是由于其量化方式与 Paddle 有较大出入，量化模型无法发挥 NPU 加速特性，所以 fp32 模型性能较好
-  - 高通 骁龙系列芯片（855 以后），DSP，GPU 等 IP 支持 Android NN API，但其 HTA|HTP 暂不支持 Android NN API
-  - 不同 SoC 对 Android NN API 的支持程度不同，如下仅举例华为 Kirin990-5G 和 高通 骁龙865
+  - 华为 Kirin NPU 对 Android NNAPI 的支持程度较高，但是由于其量化方式与 Paddle 有较大出入，量化模型无法发挥 NPU 加速特性，所以 fp32 模型性能较好
+  - 高通 骁龙系列芯片（855 以后），DSP，GPU 等 IP 支持 Android NNAPI，但其 HTA|HTP 暂不支持 Android NNAPI
+  - 不同 SoC 对 Android NNAPI 的支持程度不同，如下仅举例华为 Kirin990-5G 和 高通 骁龙865
 
 - 测试结果
 
@@ -102,7 +102,7 @@ Paddle Lite 已支持 Android NN API 的预测部署。
             - armeabi-v7a
               - include
               - lib
-                - android_nnapi # NNAdapter 运行时库、Android NN API device HAL 库
+                - android_nnapi # NNAdapter 运行时库、Android NNAPI device HAL 库
                   - libnnadapter.so # NNAdapter 运行时库
                   - libandroid_nnapi.so # NNAdapter device HAL 库
               - libpaddle_full_api_shared.so # 预编译 Paddle Lite full api 库
@@ -113,7 +113,7 @@ Paddle Lite 已支持 Android NN API 的预测部署。
   ```
 
 - Android shell 端的示例程序
-  - 按照以下命令分别运行转换后的 ARM CPU 模型和 Android NN API 模型，比较它们的性能和结果；
+  - 按照以下命令分别运行转换后的 ARM CPU 模型和 Android NNAPI 模型，比较它们的性能和结果；
 
     ```shell
     注意：
@@ -141,7 +141,7 @@ Paddle Lite 已支持 Android NN API 的预测部署。
       Prediction time: 102.615802 ms
       Postprocess time: 0.280000 ms
 
-    基于 Android NN API 上运行 mobilenetv1 全量化模型
+    基于 Android NNAPI 上运行 mobilenetv1 全量化模型
     $ cd PaddleLite-generic-demo/image_classification_demo/shell
     $ ./run_with_adb.sh mobilenet_v1_int8_224_per_layer android armeabi-v7a android_nnapi d3869b25
       ...
@@ -178,7 +178,7 @@ Paddle Lite 已支持 Android NN API 的预测部署。
 
 - 通过 Paddle 训练，或 X2Paddle 转换得到 MobileNetv1 foat32 模型[ mobilenet_v1_fp32_224_fluid ](https://paddlelite-demo.bj.bcebos.com/models/mobilenet_v1_fp32_224_fluid.tar.gz)；
 - 如果需要使用量化模型，则参考[模型量化-静态离线量化](../user_guides/quant_aware)使用 PaddleSlim 对 `float32` 模型进行量化（注意：由于 DSP 只支持量化 OP，在启动量化脚本时请注意相关参数的设置），最终得到全量化MobileNetV1 模型[ mobilenet_v1_int8_224_per_layer ](https://paddlelite-demo.bj.bcebos.com/models/mobilenet_v1_int8_224_per_layer.tar.gz)；
-- 参考[模型转化方法](../user_guides/model_optimize_tool)，利用 opt 工具转换生成 Android NN API 模型，仅需要将 `valid_targets` 设置为 andriod_nnapi, arm 即可。
+- 参考[模型转化方法](../user_guides/model_optimize_tool)，利用 opt 工具转换生成 Android NNAPI 模型，仅需要将 `valid_targets` 设置为 andriod_nnapi, arm 即可。
 
   ```shell
   # 注意：
@@ -191,9 +191,9 @@ Paddle Lite 已支持 Android NN API 的预测部署。
       --valid_targets=android_nnapi,arm
   ```
 
-- 注意：opt 生成的模型只是标记了 Android NN API 支持的 Paddle 算子，并没有真正生成 Android NN API 模型，只有在执行时才会将标记的 Paddle 算子转成 `Android NN API` 调用实现组网，最终生成并执行模型。
+- 注意：opt 生成的模型只是标记了 Android NNAPI 支持的 Paddle 算子，并没有真正生成 Android NNAPI 模型，只有在执行时才会将标记的 Paddle 算子转成 `Android NNAPI` 调用实现组网，最终生成并执行模型。
 
-### 更新支持 Android NN API 的 Paddle Lite 库
+### 更新支持 Android NNAPI 的 Paddle Lite 库
 
 - 下载 Paddle Lite 源码；
 
@@ -203,7 +203,7 @@ Paddle Lite 已支持 Android NN API 的预测部署。
   $ git checkout <release-version-tag>
   ```
 
-- 编译并生成 `PaddleLite+Android NN API` for armv8 and armv7 的部署库
+- 编译并生成 `PaddleLite+Android NNAPI` for armv8 and armv7 的部署库
 
   - For armv8
     - tiny_publish 编译方式
@@ -259,4 +259,4 @@ Paddle Lite 已支持 Android NN API 的预测部署。
 
 ## 其它说明
 
-- 不同 SoC 芯片对 Android NN API 的支持差异较大，目前移动端芯片支持较好，边缘端、车载等需要根据具体芯片情况确认。
+- 不同 SoC 芯片对 Android NNAPI 的支持差异较大，目前移动端芯片支持较好，边缘端、车载等需要根据具体芯片情况确认。
diff --git a/docs/demo_guides/mediatek_apu.md b/docs/demo_guides/mediatek_apu.md
@@ -1,7 +1,7 @@
 # 联发科 APU 部署示例
 
 Paddle Lite 已支持 MediaTek APU 的预测部署。
-其接入原理是与之前华为 Kirin NPU 类似，即加载并分析 Paddle 模型，将 Paddle 算子转成 MTK 的 Neuron adapter API（类似 Android NN API ）进行网络构建，在线生成并执行模型。
+其接入原理是与之前华为 Kirin NPU 类似，即加载并分析 Paddle 模型，将 Paddle 算子转成 MTK 的 Neuron adapter API（类似 Android NNAPI ）进行网络构建，在线生成并执行模型。
 
 ## 支持现状
 
diff --git a/docs/performance/benchmark.md b/docs/performance/benchmark.md
@@ -142,8 +142,8 @@
 ## 芯原 TIM-VX 的性能数据
 请参考 [Paddle Lite 使用芯原 TIM-VX 预测部署](../demo_guides/verisilicon_timvx)的最新性能数据
 
-## Android NN API 的性能数据
-请参考 [Paddle Lite 使用 Android NN API 预测部署](../demo_guides/android_nnapi)的最新性能数据
+## Android NNAPI 的性能数据
+请参考 [Paddle Lite 使用 Android NNAPI 预测部署](../demo_guides/android_nnapi)的最新性能数据
 
 ## 联发科 APU 的性能数据
 请参考 [Paddle Lite 使用联发科 APU 预测部署](../demo_guides/mediatek_apu)的最新性能数据
diff --git a/docs/quick_start/support_hardware.md b/docs/quick_start/support_hardware.md
@@ -145,6 +145,15 @@ Paddle Lite 支持英特尔 OpenVINO 预测部署
 
 - [Paddle Lite 使用英特尔 OpenVINO 预测部署](../demo_guides/intel_openvino)
 
+## Android NNAPI
+
+Paddle Lite 支持 Android NNAPI，支持列表如下：
+- 支持设备：Android 8.1(Oreo) 及以上的终端设备（Android SDK version 需在 27 及以上）
+
+### Android NNAPI 环境准备及示例程序
+
+- [Paddle Lite 使用 Android NNAPI 预测部署](../demo_guides/android_nnapi)
+
 ## 联发科 (MediaTek) APU
 
 Paddle Lite 支持 联发科 (MediaTek) APU，支持列表如下：
@@ -155,6 +164,15 @@ Paddle Lite 支持 联发科 (MediaTek) APU，支持列表如下：
 
 - [Paddle Lite 使用联发科 APU 预测部署](../demo_guides/mediatek_apu)
 
+## 芯原 TIM-VX
+
+Paddle Lite 支持 芯原 TIM-VX，支持列表如下：
+- 支持芯片：搭载了芯原 NPU 的 SoC，驱动版本需为 6.4.4.3
+
+### 芯原 TIM-VX 环境准备及示例程序
+
+- [Paddle Lite 使用 芯原 TIM-VX 预测部署](../demo_guides/verisilicon_timvx)
+
 ## 晶晨（Amlogic）NPU
 
 Paddle Lite 支持 晶晨（Amlogic）NPU, 支持列表如下：
diff --git a/docs/quick_start/support_operation_list.md b/docs/quick_start/support_operation_list.md
@@ -10,7 +10,7 @@ Host 端 Kernel 是算子在任意 CPU 上纯 C/C++ 的具体实现，具有可
 
 以 ARM CPU 为例，如果模型中某个算子没有 ARM 端 Kernel，但是有 Host 端 Kernel，那么模型优化阶段该算子会选择 Host 端 Kernel，该模型还是可以顺利部署。
 
-| OP_name| ARM | OpenCL | Metal | 昆仑芯XPU | Host | X86 | 比特大陆 | 英特尔FPGA | 寒武纪mlu | 华为昇腾NPU | 联发科APU | 瑞芯微NPU | 华为麒麟NPU | 颖脉NNA | 晶晨NPU | 芯原TIM-VX | Android NN API| 英特尔OpenVINO | 英伟达TensorRT |
+| OP_name| ARM | OpenCL | Metal | 昆仑芯XPU | Host | X86 | 比特大陆 | 英特尔FPGA | 寒武纪mlu | 华为昇腾NPU | 联发科APU | 瑞芯微NPU | 华为麒麟NPU | 颖脉NNA | 晶晨NPU | 芯原TIM-VX | Android NNAPI| 英特尔OpenVINO | 英伟达TensorRT |
 |-:|-| -| -| -| -| -| -| -| -| -| -| -| -| -| -| -| -| -| -|
 |                   affine_channel|Y| | | | | | | | | | | | | | | | | | |      
 |                      affine_grid|Y| | | | | | | | | | | | | | | | | | |      
@@ -110,7 +110,7 @@ Host 端 Kernel 是算子在任意 CPU 上纯 C/C++ 的具体实现，具有可
 加上附加算子共计 278 个，需要在编译时打开 `--with_extra=ON` 开关才会编译，具体请参考[参数详情](../source_compile/compile_options)。
 
 
-| OP_name| ARM | OpenCL | Metal | 昆仑芯XPU | Host | X86 | 比特大陆 | 英特尔FPGA | 寒武纪mlu | 华为昇腾NPU | 联发科APU | 瑞芯微NPU | 华为麒麟NPU | 颖脉NNA | 晶晨NPU | 芯原TIM-VX | Android NN API | 英特尔OpenVINO | 英伟达TensorRT |
+| OP_name| ARM | OpenCL | Metal | 昆仑芯XPU | Host | X86 | 比特大陆 | 英特尔FPGA | 寒武纪mlu | 华为昇腾NPU | 联发科APU | 瑞芯微NPU | 华为麒麟NPU | 颖脉NNA | 晶晨NPU | 芯原TIM-VX | Android NNAPI | 英特尔OpenVINO | 英伟达TensorRT |
 |-:|-| -| -| -| -| -| -| -| -| -| -| -| -| -| -| -| -| -| -|
 |                                            abs|Y|Y| |Y|Y| | | | |Y| | |Y| | | | | | |      
 |                                           acos| |Y| | | | | | | | | | | | | | | | | |  
diff --git a/docs/source_compile/include/multi_device_support/nnadapter_support_android_nnapi.rst b/docs/source_compile/include/multi_device_support/nnadapter_support_android_nnapi.rst
@@ -1,4 +1,4 @@
-NNAdapter 支持 Android NN API
+NNAdapter 支持 Android NNAPI
 ^^^^^^^^^^^^^^^^^^^^^^^^
 
 .. list-table::
@@ -8,7 +8,7 @@ NNAdapter 支持 Android NN API
      - 可选范围
      - 默认值
    * - nnadapter_with_android_nnapi
-     - 是否编译 Android NN API 的 NNAdapter HAL 库
+     - 是否编译 Android NNAPI 的 NNAdapter HAL 库
      - OFF / ON
      - OFF
 
diff --git a/docs/source_compile/include/multi_device_support/nnadapter_support_nvidia_tensorrt.rst b/docs/source_compile/include/multi_device_support/nnadapter_support_nvidia_tensorrt.rst
@@ -0,0 +1,23 @@
+NNAdapter 支持英伟达 TensorRT
+^^^^^^^^^^^^^^^^^^^^^^^^
+
+.. list-table::
+
+   * - 参数
+     - 说明
+     - 可选范围
+     - 默认值
+   * - nnadapter_with_nvidia_tensorrt
+     - 是否编译英伟达 TensorRT 的 NNAdapter HAL 库
+     - OFF / ON
+     - OFF
+   * - nnadapter_nvidia_cuda_root
+     - 设置 CUDA 路径
+     - 用户自定义
+     - 空值
+   * - nnadapter_nvidia_tensorrt_root
+     - 设置 Tensor  路径
+     - 用户自定义
+     - 空值
+
+详细请参考 `英伟达 TensorRT 部署示例 <https://paddle-lite.readthedocs.io/zh/develop/demo_guides/nvidia_tensorrt.html>`_
diff --git a/docs/source_compile/linux_x86_compile_arm_linux.rst b/docs/source_compile/linux_x86_compile_arm_linux.rst
@@ -200,3 +200,5 @@ Paddle Lite 仓库中 \ ``./lite/tools/build_linux.sh``\ 脚本文件用于构
 .. include:: include/multi_device_support/nnadapter_support_amlogic_npu.rst
 
 .. include:: include/multi_device_support/nnadapter_support_verisilicon_timvx.rst
+
+.. include:: include/multi_device_support/nnadapter_support_nvidia_tensorrt.rst
diff --git a/docs/source_compile/linux_x86_compile_linux_x86.rst b/docs/source_compile/linux_x86_compile_linux_x86.rst
@@ -187,3 +187,5 @@ Paddle Lite 仓库中\ ``./lite/tools/build_linux.sh``\ 脚本文件用于构建
 .. include:: include/multi_device_support/nnadapter_support_introduction.rst
 
 .. include:: include/multi_device_support/nnadapter_support_huawei_ascend_npu.rst
+
+.. include:: include/multi_device_support/nnadapter_support_nvidia_tensorrt.rst
