diff --git a/docs/version3.x/pipeline_usage/PaddleOCR-VL-AMD-GPU.md b/docs/version3.x/pipeline_usage/PaddleOCR-VL-AMD-GPU.md new file mode 100644 index 00000000000..d04cc81a8a2 --- /dev/null +++ b/docs/version3.x/pipeline_usage/PaddleOCR-VL-AMD-GPU.md @@ -0,0 +1,227 @@ +--- +comments: true +--- + +# PaddleOCR-VL AMD GPU 使用教程 + +本教程是 PaddleOCR-VL 在 AMD GPU 上的使用指南，涵盖了从环境准备到服务化部署的完整流程。 + +目前 PaddleOCR-VL 已在 TODO 上完成精度、速度验证；鉴于硬件环境的多样性，其他 AMD GPU 的兼容性尚未验证。我们诚挚欢迎社区用户在不同硬件上进行测试并反馈您的运行结果。 + +## 1. 环境准备 + +此步骤主要介绍如何搭建 PaddleOCR-VL 的运行环境，有以下两种方式，任选一种即可： + +- 方法一：使用官方 Docker 镜像。 + +- 方法二：手动安装 PaddlePaddle 和 PaddleOCR。 + +**我们强烈推荐采用 Docker 镜像的方式，以最大程度减少可能出现的环境问题。** + +### 1.1 方法一：使用 Docker 镜像 + +我们推荐使用官方 Docker 镜像（要求 Docker 版本 >= 19.03）： + +```shell +docker run -it \ + --user root \ + --device /dev:/dev \ + --shm-size 64g \ + --network host \ + ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest-amd-gpu \ + /bin/bash +# 在容器中调用 PaddleOCR CLI 或 Python API +``` + +如果您希望在无法连接互联网的环境中启动服务，请将上述命令中的 `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest-amd-gpu`（镜像的大小约为 TODO GB）更换为离线版本镜像 `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest-amd-gpu-offline`（镜像的大小约为 TODO GB）。 + +> TIP: +> 标签后缀为 `latest-xxx` 的镜像对应 PaddleOCR 的最新版本。如果希望使用特定版本的 PaddleOCR 镜像，可以将标签中的 `latest` 替换为对应版本号：`paddleocr.`。 +> 例如： +> `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:paddleocr3.4-amd-gpu-offline` + +### 1.2 方法二：手动安装 PaddlePaddle 和 PaddleOCR + +如果您无法使用 Docker，也可以手动安装 PaddlePaddle 和 PaddleOCR。要求 Python 版本为 3.8–3.12。 + +**我们强烈推荐您在虚拟环境中安装 PaddleOCR-VL，以避免发生依赖冲突。** 例如，使用 Python venv 标准库创建虚拟环境： + +```shell +# 创建虚拟环境 +python -m venv .venv_paddleocr +# 激活环境 +source .venv_paddleocr/bin/activate +``` + +执行如下命令完成安装： + +```shell +python -m pip install paddlepaddle==3.2.1 -i https://www.paddlepaddle.org.cn/packages/stable/cpu/ +python -m pip install -U "paddleocr[doc-parser]" +``` + +> **请注意安装 3.2.0 及以上版本的飞桨框架。** + +## 2. 快速开始 + +请参考 [PaddleOCR-VL 使用教程 - 2. 快速开始](./PaddleOCR-VL.md#2-快速开始)。 + +## 3. 使用推理加速框架提升 VLM 推理性能 + +此步骤主要介绍如何使用 vLLM 推理加速框架来提升 PaddleOCR-VL 的推理性能。 + +### 3.1 启动 VLM 推理服务 + +PaddleOCR 提供了 Docker 镜像，用于快速启动 vLLM 推理服务。可使用以下命令启动服务（要求 Docker 版本 >= 19.03）： + +```shell +docker run -it \ + --name paddleocr_vllm \ + --user root \ + --device /dev:/dev \ + --shm-size 64g \ + --network host \ + ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-amd-gpu \ + paddleocr genai_server --model_name PaddleOCR-VL-1.5-0.9B --host 0.0.0.0 --port 8118 --backend vllm +``` + +如果您希望在无法连接互联网的环境中启动服务，请将上述命令中的 `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-amd-gpu`（镜像的大小约为 TODO GB）更换为离线版本镜像 `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-amd-gpu-offline`（镜像的大小约为 TODO GB）。 + +启动 vLLM 推理服务时，我们提供了一套默认参数设置。如果您有调整显存占用等更多参数的需求，可以自行配置更多参数。请参考 [3.3.1 服务端参数调整](./PaddleOCR-VL.md#331-服务端参数调整) 创建配置文件，然后将该文件挂载到容器中，并在启动服务的命令中使用 `backend_config` 指定配置文件，例如： + +```shell +docker run -it \ + --name paddleocr_vllm \ + --user root \ + --device /dev:/dev \ + --shm-size 64g \ + --network host \ + ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-amd-gpu \ + paddleocr genai_server --model_name PaddleOCR-VL-1.5-0.9B --host 0.0.0.0 --port 8118 --backend vllm --backend_config /tmp/vllm_config.yml +``` + +> TIP: +> 标签后缀为 `latest-xxx` 的镜像对应 PaddleOCR 的最新版本。如果希望使用特定版本的 PaddleOCR 镜像，可以将标签中的 `latest` 替换为对应版本号：`paddleocr.`。 +> 例如： +> `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:paddleocr3.4-amd-gpu-offline` + +### 3.2 客户端使用方法 + +请参考[PaddleOCR-VL 使用教程 - 3.2 客户端使用方法](./PaddleOCR-VL.md#32-客户端使用方法)。 + +### 3.3 性能调优 + +请参考[PaddleOCR-VL 使用教程 - 3.3 性能调优](./PaddleOCR-VL.md#33-性能调优)。 + +## 4. 服务化部署 + +>请注意，本节所介绍 PaddleOCR-VL 服务与上一节中的 VLM 推理服务有所区别：后者仅负责完整流程中的一个环节（即 VLM 推理），并作为前者的底层服务被调用。 + +### 4.1 使用 Docker Compose 部署 + +此步骤主要介绍如何使用 Docker Compose 将 PaddleOCR-VL 部署为服务并调用，具体流程如下： + +1. 分别从 [此处](https://github.com/PaddlePaddle/PaddleOCR/blob/main/deploy/paddleocr_vl_docker/accelerators/amd-gpu/compose.yaml) 和 [此处](https://github.com/PaddlePaddle/PaddleOCR/blob/main/deploy/paddleocr_vl_docker/accelerators/amd-gpu/.env) 获取 Compose 文件与环境变量配置文件并下载到本地。 + +2. 在 `compose.yaml` 和 `.env` 文件所在目录下执行以下命令启动服务器，默认监听 **8080** 端口： + + ```shell + # 必须在 compose.yaml 和 .env 文件所在的目录中执行 + docker compose up + ``` + + 启动后将看到类似如下输出： + + ```text + paddleocr-vl-api | INFO: Started server process [1] + paddleocr-vl-api | INFO: Waiting for application startup. + paddleocr-vl-api | INFO: Application startup complete. + paddleocr-vl-api | INFO: Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit) + ``` + +此方式基于 FastDeploy 框架对 VLM 推理进行加速，更适合生产环境部署。 + +此外，使用此方式启动服务器后，除拉取镜像外，无需连接互联网。如需在离线环境中部署，可先在联网机器上拉取 Compose 文件中涉及的镜像，导出并传输至离线机器中导入，即可在离线环境下启动服务。 + +Docker Compose 通过读取 `.env` 和 `compose.yaml` 文件中配置，先后启动 2 个容器，分别运行底层 VLM 推理服务，以及 PaddleOCR-VL 服务（产线服务）。 + +`.env` 文件中包含的各环境变量含义如下： + +- `API_IMAGE_TAG_SUFFIX`：启动产线服务使用的镜像的标签后缀。 +- `VLM_BACKEND`：VLM 推理后端。 +- `VLM_IMAGE_TAG_SUFFIX`：启动 VLM 推理服务使用的镜像的标签后缀。 + +您可以通过修改 `compose.yaml` 来满足自定义需求，例如： + +
+1. 更改 PaddleOCR-VL 服务的端口 + +编辑 compose.yaml 文件中的 paddleocr-vl-api.ports 来更改端口。例如，如果您需要将服务端口更换为 8111，可以进行以下修改： + +```diff + paddleocr-vl-api: + ... + ports: +- - 8080:8080 ++ - 8111:8080 + ... +``` + +
+ +
+2. 指定 PaddleOCR-VL 服务所使用的 TODO + +编辑 compose.yaml 文件中的 environment 来更改所使用的 TODO。例如，如果您需要使用卡 1 进行部署，可以进行以下修改： + +```diff + paddleocr-vl-api: + ... + environment: ++ - TODO: 1 + ... + paddleocr-vlm-server: + ... + environment: ++ - TODO: 1 + ... +``` + + +
+ +
+3. 调整 VLM 服务端配置 + +若您想调整 VLM 服务端的配置，可以参考 3.3.1 服务端参数调整 生成配置文件。 + +生成配置文件后，将以下的 paddleocr-vlm-server.volumes 和 paddleocr-vlm-server.command 字段增加到您的 compose.yaml 中。请将 /path/to/your_config.yaml 替换为您的实际配置文件路径。 + +```yaml + paddleocr-vlm-server: + ... + volumes: /path/to/your_config.yaml:/home/paddleocr/vlm_server_config.yaml + command: paddleocr genai_server --model_name PaddleOCR-VL-1.5-0.9B --host 0.0.0.0 --port 8118 --backend vllm --backend_config /home/paddleocr/vlm_server_config.yaml + ... +``` + +
+ +
+4. 调整产线相关配置（如模型路径、批处理大小、部署设备等） + +参考 4.4 产线配置调整说明 小节。 + +
+ +### 4.2 客户端调用方式 + +请参考[PaddleOCR-VL 使用教程 - 4.3 客户端调用方式](./PaddleOCR-VL.md#43-客户端调用方式)。 + +### 4.3 产线配置调整说明 + +请参考[PaddleOCR-VL 使用教程 - 4.4 产线配置调整说明](./PaddleOCR-VL.md#44-产线配置调整说明)。 + +## 5. 模型微调 + +请参考[PaddleOCR-VL 使用教程 - 5. 模型微调](./PaddleOCR-VL.md#5-模型微调)。 diff --git a/docs/version3.x/pipeline_usage/PaddleOCR-VL-Intel-GPU.md b/docs/version3.x/pipeline_usage/PaddleOCR-VL-Intel-GPU.md new file mode 100644 index 00000000000..3c3e764ee64 --- /dev/null +++ b/docs/version3.x/pipeline_usage/PaddleOCR-VL-Intel-GPU.md @@ -0,0 +1,227 @@ +--- +comments: true +--- + +# PaddleOCR-VL Intel GPU 使用教程 + +本教程是 PaddleOCR-VL 在 Intel GPU 上的使用指南，涵盖了从环境准备到服务化部署的完整流程。 + +目前 PaddleOCR-VL 已在 TODO 上完成精度、速度验证；鉴于硬件环境的多样性，其他 Intel GPU 的兼容性尚未验证。我们诚挚欢迎社区用户在不同硬件上进行测试并反馈您的运行结果。 + +## 1. 环境准备 + +此步骤主要介绍如何搭建 PaddleOCR-VL 的运行环境，有以下两种方式，任选一种即可： + +- 方法一：使用官方 Docker 镜像。 + +- 方法二：手动安装 PaddlePaddle 和 PaddleOCR。 + +**我们强烈推荐采用 Docker 镜像的方式，以最大程度减少可能出现的环境问题。** + +### 1.1 方法一：使用 Docker 镜像 + +我们推荐使用官方 Docker 镜像（要求 Docker 版本 >= 19.03）： + +```shell +docker run -it \ + --user root \ + --device /dev:/dev \ + --shm-size 64g \ + --network host \ + ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest-intel-gpu \ + /bin/bash +# 在容器中调用 PaddleOCR CLI 或 Python API +``` + +如果您希望在无法连接互联网的环境中启动服务，请将上述命令中的 `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest-intel-gpu`（镜像的大小约为 TODO GB）更换为离线版本镜像 `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest-intel-gpu-offline`（镜像的大小约为 TODO GB）。 + +> TIP: +> 标签后缀为 `latest-xxx` 的镜像对应 PaddleOCR 的最新版本。如果希望使用特定版本的 PaddleOCR 镜像，可以将标签中的 `latest` 替换为对应版本号：`paddleocr.`。 +> 例如： +> `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:paddleocr3.4-intel-gpu-offline` + +### 1.2 方法二：手动安装 PaddlePaddle 和 PaddleOCR + +如果您无法使用 Docker，也可以手动安装 PaddlePaddle 和 PaddleOCR。要求 Python 版本为 3.8–3.12。 + +**我们强烈推荐您在虚拟环境中安装 PaddleOCR-VL，以避免发生依赖冲突。** 例如，使用 Python venv 标准库创建虚拟环境： + +```shell +# 创建虚拟环境 +python -m venv .venv_paddleocr +# 激活环境 +source .venv_paddleocr/bin/activate +``` + +执行如下命令完成安装： + +```shell +python -m pip install paddlepaddle==3.2.1 -i https://www.paddlepaddle.org.cn/packages/stable/cpu/ +python -m pip install -U "paddleocr[doc-parser]" +``` + +> **请注意安装 3.2.0 及以上版本的飞桨框架。** + +## 2. 快速开始 + +请参考 [PaddleOCR-VL 使用教程 - 2. 快速开始](./PaddleOCR-VL.md#2-快速开始)。 + +## 3. 使用推理加速框架提升 VLM 推理性能 + +此步骤主要介绍如何使用 vLLM 推理加速框架来提升 PaddleOCR-VL 的推理性能。 + +### 3.1 启动 VLM 推理服务 + +PaddleOCR 提供了 Docker 镜像，用于快速启动 vLLM 推理服务。可使用以下命令启动服务（要求 Docker 版本 >= 19.03）： + +```shell +docker run -it \ + --name paddleocr_vllm \ + --user root \ + --device /dev:/dev \ + --shm-size 64g \ + --network host \ + ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-intel-gpu \ + paddleocr genai_server --model_name PaddleOCR-VL-1.5-0.9B --host 0.0.0.0 --port 8118 --backend vllm +``` + +如果您希望在无法连接互联网的环境中启动服务，请将上述命令中的 `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-intel-gpu`（镜像的大小约为 TODO GB）更换为离线版本镜像 `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-intel-gpu-offline`（镜像的大小约为 TODO GB）。 + +启动 vLLM 推理服务时，我们提供了一套默认参数设置。如果您有调整显存占用等更多参数的需求，可以自行配置更多参数。请参考 [3.3.1 服务端参数调整](./PaddleOCR-VL.md#331-服务端参数调整) 创建配置文件，然后将该文件挂载到容器中，并在启动服务的命令中使用 `backend_config` 指定配置文件，例如： + +```shell +docker run -it \ + --name paddleocr_vllm \ + --user root \ + --device /dev:/dev \ + --shm-size 64g \ + --network host \ + ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-intel-gpu \ + paddleocr genai_server --model_name PaddleOCR-VL-1.5-0.9B --host 0.0.0.0 --port 8118 --backend vllm --backend_config /tmp/vllm_config.yml +``` + +> TIP: +> 标签后缀为 `latest-xxx` 的镜像对应 PaddleOCR 的最新版本。如果希望使用特定版本的 PaddleOCR 镜像，可以将标签中的 `latest` 替换为对应版本号：`paddleocr.`。 +> 例如： +> `ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:paddleocr3.4-intel-gpu-offline` + +### 3.2 客户端使用方法 + +请参考[PaddleOCR-VL 使用教程 - 3.2 客户端使用方法](./PaddleOCR-VL.md#32-客户端使用方法)。 + +### 3.3 性能调优 + +请参考[PaddleOCR-VL 使用教程 - 3.3 性能调优](./PaddleOCR-VL.md#33-性能调优)。 + +## 4. 服务化部署 + +>请注意，本节所介绍 PaddleOCR-VL 服务与上一节中的 VLM 推理服务有所区别：后者仅负责完整流程中的一个环节（即 VLM 推理），并作为前者的底层服务被调用。 + +### 4.1 使用 Docker Compose 部署 + +此步骤主要介绍如何使用 Docker Compose 将 PaddleOCR-VL 部署为服务并调用，具体流程如下： + +1. 分别从 [此处](https://github.com/PaddlePaddle/PaddleOCR/blob/main/deploy/paddleocr_vl_docker/accelerators/intel-gpu/compose.yaml) 和 [此处](https://github.com/PaddlePaddle/PaddleOCR/blob/main/deploy/paddleocr_vl_docker/accelerators/intel-gpu/.env) 获取 Compose 文件与环境变量配置文件并下载到本地。 + +2. 在 `compose.yaml` 和 `.env` 文件所在目录下执行以下命令启动服务器，默认监听 **8080** 端口： + + ```shell + # 必须在 compose.yaml 和 .env 文件所在的目录中执行 + docker compose up + ``` + + 启动后将看到类似如下输出： + + ```text + paddleocr-vl-api | INFO: Started server process [1] + paddleocr-vl-api | INFO: Waiting for application startup. + paddleocr-vl-api | INFO: Application startup complete. + paddleocr-vl-api | INFO: Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit) + ``` + +此方式基于 FastDeploy 框架对 VLM 推理进行加速，更适合生产环境部署。 + +此外，使用此方式启动服务器后，除拉取镜像外，无需连接互联网。如需在离线环境中部署，可先在联网机器上拉取 Compose 文件中涉及的镜像，导出并传输至离线机器中导入，即可在离线环境下启动服务。 + +Docker Compose 通过读取 `.env` 和 `compose.yaml` 文件中配置，先后启动 2 个容器，分别运行底层 VLM 推理服务，以及 PaddleOCR-VL 服务（产线服务）。 + +`.env` 文件中包含的各环境变量含义如下： + +- `API_IMAGE_TAG_SUFFIX`：启动产线服务使用的镜像的标签后缀。 +- `VLM_BACKEND`：VLM 推理后端。 +- `VLM_IMAGE_TAG_SUFFIX`：启动 VLM 推理服务使用的镜像的标签后缀。 + +您可以通过修改 `compose.yaml` 来满足自定义需求，例如： + +
+1. 更改 PaddleOCR-VL 服务的端口 + +编辑 compose.yaml 文件中的 paddleocr-vl-api.ports 来更改端口。例如，如果您需要将服务端口更换为 8111，可以进行以下修改： + +```diff + paddleocr-vl-api: + ... + ports: +- - 8080:8080 ++ - 8111:8080 + ... +``` + +
+ +
+2. 指定 PaddleOCR-VL 服务所使用的 TODO + +编辑 compose.yaml 文件中的 environment 来更改所使用的 TODO。例如，如果您需要使用卡 1 进行部署，可以进行以下修改： + +```diff + paddleocr-vl-api: + ... + environment: ++ - TODO: 1 + ... + paddleocr-vlm-server: + ... + environment: ++ - TODO: 1 + ... +``` + + +
+ +
+3. 调整 VLM 服务端配置 + +若您想调整 VLM 服务端的配置，可以参考 3.3.1 服务端参数调整 生成配置文件。 + +生成配置文件后，将以下的 paddleocr-vlm-server.volumes 和 paddleocr-vlm-server.command 字段增加到您的 compose.yaml 中。请将 /path/to/your_config.yaml 替换为您的实际配置文件路径。 + +```yaml + paddleocr-vlm-server: + ... + volumes: /path/to/your_config.yaml:/home/paddleocr/vlm_server_config.yaml + command: paddleocr genai_server --model_name PaddleOCR-VL-1.5-0.9B --host 0.0.0.0 --port 8118 --backend vllm --backend_config /home/paddleocr/vlm_server_config.yaml + ... +``` + +
+ +
+4. 调整产线相关配置（如模型路径、批处理大小、部署设备等） + +参考 4.4 产线配置调整说明 小节。 + +
+ +### 4.2 客户端调用方式 + +请参考[PaddleOCR-VL 使用教程 - 4.3 客户端调用方式](./PaddleOCR-VL.md#43-客户端调用方式)。 + +### 4.3 产线配置调整说明 + +请参考[PaddleOCR-VL 使用教程 - 4.4 产线配置调整说明](./PaddleOCR-VL.md#44-产线配置调整说明)。 + +## 5. 模型微调 + +请参考[PaddleOCR-VL 使用教程 - 5. 模型微调](./PaddleOCR-VL.md#5-模型微调)。 diff --git a/docs/version3.x/pipeline_usage/PaddleOCR-VL.en.md b/docs/version3.x/pipeline_usage/PaddleOCR-VL.en.md index 6bacf4591e8..8c293244168 100644 --- a/docs/version3.x/pipeline_usage/PaddleOCR-VL.en.md +++ b/docs/version3.x/pipeline_usage/PaddleOCR-VL.en.md @@ -56,6 +56,8 @@ Currently, PaddleOCR-VL offers six inference methods, with varying levels of sup Huawei Ascend NPU x64 CPU Apple Silicon + AMD GPU + Intel GPU @@ -69,6 +71,8 @@ Currently, PaddleOCR-VL offers six inference methods, with varying levels of sup 🚧 ✅ ✅ + ✅ + ✅ PaddlePaddle + vLLM @@ -80,6 +84,8 @@ Currently, PaddleOCR-VL offers six inference methods, with varying levels of sup ✅ - - + ✅ + ✅ PaddlePaddle + SGLang @@ -91,6 +97,8 @@ Currently, PaddleOCR-VL offers six inference methods, with varying levels of sup 🚧 - - + 🚧 + 🚧 PaddlePaddle + FastDeploy @@ -102,6 +110,8 @@ Currently, PaddleOCR-VL offers six inference methods, with varying levels of sup 🚧 - - + 🚧 + 🚧 PaddlePaddle + MLX-VLM @@ -113,6 +123,8 @@ Currently, PaddleOCR-VL offers six inference methods, with varying levels of sup - - ✅ + - + - PaddlePaddle + llama.cpp @@ -124,6 +136,8 @@ Currently, PaddleOCR-VL offers six inference methods, with varying levels of sup 🚧 ✅ 🚧 + 🚧 + 🚧 @@ -154,6 +168,8 @@ Since different hardware requires different dependencies, if your hardware meets | Iluvatar GPU | [PaddleOCR-VL Iluvatar GPU Usage Tutorial](./PaddleOCR-VL-Iluvatar-GPU.en.md) | | Huawei Ascend NPU | [PaddleOCR-VL Huawei Ascend NPU Usage Tutorial](./PaddleOCR-VL-Huawei-Ascend-NPU.en.md) | | Apple Silicon | [PaddleOCR-VL Apple Silicon Usage Tutorial](./PaddleOCR-VL-Apple-Silicon.en.md) | +| AMD GPU | [PaddleOCR-VL AMD GPU Usage Tutorial](./PaddleOCR-VL-AMD-GPU.en.md) | +| Intel GPU | [PaddleOCR-VL Intel GPU Usage Tutorial](./PaddleOCR-VL-Intel-GPU.en.md) | > TIP: > For example, if you are using an RTX 50 series GPU that meets the device requirements for both PaddlePaddle and vLLM inference methods, please refer to the [PaddleOCR-VL NVIDIA Blackwell Architecture GPU Usage Tutorial](./PaddleOCR-VL-NVIDIA-Blackwell.en.md) to learn about relevant configurations and usage. diff --git a/docs/version3.x/pipeline_usage/PaddleOCR-VL.md b/docs/version3.x/pipeline_usage/PaddleOCR-VL.md index 69eb4d8cf86..743541eb79b 100644 --- a/docs/version3.x/pipeline_usage/PaddleOCR-VL.md +++ b/docs/version3.x/pipeline_usage/PaddleOCR-VL.md @@ -56,6 +56,8 @@ PaddleOCR-VL 是一款先进、高效的文档解析模型，专为文档中的 华为昇腾 NPU x64 CPU Apple Silicon + AMD GPU + Intel GPU @@ -69,6 +71,8 @@ PaddleOCR-VL 是一款先进、高效的文档解析模型，专为文档中的 🚧 ✅ ✅ + ✅ + ✅ PaddlePaddle + vLLM @@ -80,6 +84,8 @@ PaddleOCR-VL 是一款先进、高效的文档解析模型，专为文档中的 ✅ - - + ✅ + ✅ PaddlePaddle + SGLang @@ -91,6 +97,8 @@ PaddleOCR-VL 是一款先进、高效的文档解析模型，专为文档中的 🚧 - - + 🚧 + 🚧 PaddlePaddle + FastDeploy @@ -102,6 +110,8 @@ PaddleOCR-VL 是一款先进、高效的文档解析模型，专为文档中的 🚧 - - + 🚧 + 🚧 PaddlePaddle + MLX-VLM @@ -113,6 +123,8 @@ PaddleOCR-VL 是一款先进、高效的文档解析模型，专为文档中的 - - ✅ + - + - PaddlePaddle + llama.cpp @@ -124,6 +136,8 @@ PaddleOCR-VL 是一款先进、高效的文档解析模型，专为文档中的 🚧 ✅ 🚧 + 🚧 + 🚧 @@ -154,6 +168,8 @@ PaddleOCR-VL 是一款先进、高效的文档解析模型，专为文档中的 | 天数 GPU | [PaddleOCR-VL 天数 GPU 使用教程](./PaddleOCR-VL-Iluvatar-GPU.md) | | 华为昇腾 NPU | [PaddleOCR-VL 华为昇腾 NPU 使用教程](./PaddleOCR-VL-Huawei-Ascend-NPU.md) | | Apple Silicon | [PaddleOCR-VL Apple Silicon 使用教程](./PaddleOCR-VL-Apple-Silicon.md) | +| AMD GPU | [PaddleOCR-VL AMD GPU 使用教程](./PaddleOCR-VL-AMD-GPU.md) | +| Intel GPU | [PaddleOCR-VL Intel GPU 使用教程](./PaddleOCR-VL-Intel-GPU.md) | > TIP: > 例如您使用的是 RTX 50 系 GPU，满足 PaddlePaddle 和 vLLM 推理方式的设备要求，请参考 [PaddleOCR-VL NVIDIA Blackwell 架构 GPU 使用教程](./PaddleOCR-VL-NVIDIA-Blackwell.md) 了解相关配置和用法。 diff --git a/mkdocs.yml b/mkdocs.yml index a5cd9e82d75..41a19a217e8 100644 --- a/mkdocs.yml +++ b/mkdocs.yml @@ -118,6 +118,8 @@ plugins: PaddleOCR-VL 天数 GPU 使用教程: PaddleOCR-VL Iluvatar GPU Usage Tutorial PaddleOCR-VL 华为昇腾 NPU 使用教程: PaddleOCR-VL Huawei Ascend NPU Usage Tutorial PaddleOCR-VL Apple Silicon 使用教程: PaddleOCR-VL Apple Silicon Usage Tutorial + PaddleOCR-VL AMD GPU 使用教程: PaddleOCR-VL AMD GPU Usage Tutorial + PaddleOCR-VL Intel GPU 使用教程: PaddleOCR-VL Intel GPU Usage Tutorial 推理部署: Model Deploy 高性能推理: High-Performance Inference 打包PaddleOCR项目: Package PaddleOCR Projects @@ -314,6 +316,8 @@ nav: - PaddleOCR-VL 天数 GPU 使用教程: version3.x/pipeline_usage/PaddleOCR-VL-Iluvatar-GPU.md - PaddleOCR-VL 华为昇腾 NPU 使用教程: version3.x/pipeline_usage/PaddleOCR-VL-Huawei-Ascend-NPU.md - PaddleOCR-VL Apple Silicon 使用教程: version3.x/pipeline_usage/PaddleOCR-VL-Apple-Silicon.md + - PaddleOCR-VL AMD GPU 使用教程: version3.x/pipeline_usage/PaddleOCR-VL-AMD-GPU.md + - PaddleOCR-VL Intel GPU 使用教程: version3.x/pipeline_usage/PaddleOCR-VL-Intel-GPU.md - 推理部署: - 高性能推理: version3.x/deployment/high_performance_inference.md - 获取ONNX模型: version3.x/deployment/obtaining_onnx_models.md