昇腾910b运行paddleocr非常缓慢

[cupid-wg]

🔎 Search before asking

• I have searched the PaddleOCR Docs and found no similar bug report.
• I have searched the PaddleOCR Issues and found no similar bug report.
• I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

在昇腾910b机器上跑paddleocr 解析文档非常慢， 2页的pdf扫描件要4分钟左右， 中间还有warning message： Warning: tiling offset out of range, index: 32

🏃‍♂️ Environment (运行环境)

docker container
base image:  ccr-2vdh3abv-pub.cnc.bj.baidubce.com/device/paddle-npu:cann80RC2-ubuntu20-npu-base-aarch64-gcc84

paddlepaddle: 3.0.0
paddle-custom-npu: 3.0.0
paddleocr: 2.10.0

verifications:

python -c "import paddle_custom_device; paddle_custom_device.npu.version()"
I0417 16:53:46.986639 148420 init.cc:237] ENV [CUSTOM_DEVICE_ROOT]=/usr/local/lib/python3.10/dist-packages/paddle_custom_device
I0417 16:53:46.986701 148420 init.cc:146] Try loading custom device libs from: [/usr/local/lib/python3.10/dist-packages/paddle_custom_device]
I0417 16:53:47.653105 148420 custom_device_load.cc:52] Succeed in loading custom runtime  in lib: /usr/local/lib/python3.10/dist-packages/paddle_custom_device/libpaddle-custom-npu.so
I0417 16:53:47.653182 148420 custom_device_load.cc:59] Skipped lib [/usr/local/lib/python3.10/dist-packages/paddle_custom_device/libpaddle-custom-npu.so]: no custom engine Plugin symbol in this lib.
I0417 16:53:47.658819 148420 custom_kernel.cc:63] Succeed in loading 358 custom kernel(s) from loaded lib(s), will be used like native ones.                                       
I0417 16:53:47.659047 148420 init.cc:158] Finished in LoadCustomDevice with libs_path: [/usr/local/lib/python3.10/dist-packages/paddle_custom_device]                              
I0417 16:53:47.659096 148420 init.cc:243] CustomDevice: npu, visible devices count: 2
version: 3.0.0
commit: e6e31bd475e38c18d2c39d58fad903bd16b3ca0d
custom_op commit: e6e31bd475e38c18d2c39d58fad903bd16b3ca0d
cann: 8.0.0

paddle check

python -c "import paddle; paddle.utils.run_check()"
...
PaddlePaddle works well on 2 npus.
PaddlePaddle is installed successfully! Let's start deep learning with PaddlePaddle now.

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

1. 构建docker image， file如下

FROM ccr-2vdh3abv-pub.cnc.bj.baidubce.com/device/paddle-npu:cann80RC2-ubuntu20-npu-base-aarch64-gcc84
RUN apt-get update && apt-get install -y curl
WORKDIR /usr/app/web_server
RUN mkdir log
RUN chmod 777 log
COPY . .
RUN pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple
RUN python3 -m pip install -r requirements.txt
RUN python3 -m pip install paddle-custom-npu==3.0.0 -i https://www.paddlepaddle.org.cn/packages/stable/npu/
ENV PADDLE_OCR_BASE_DIR=/usr/app/web_server/.paddleocr
ENV LD_PRELOAD=/lib/aarch64-linux-gnu/libGLdispatch.so.0:/usr/local/lib/python3.10/dist-packages/sklearn/utils/../../scikit_learn.libs/libgomp-d22c30c5.so.1.0.0
CMD ["bash"]

requirements 信息如下

paddlepaddle~=3.0.0
paddleocr~=2.10.0
paddlex~=3.0.0rc0
requests~=2.32.3
pillow~=11.1.0
numpy~=1.24.4
pymupdf~=1.25.5
Flask~=3.1.0
Requests~=2.32.3
Werkzeug~=3.1.3
gunicorn~=23.0.0
albucore==0.0.16

2. 运行docker container， 命令如下 docker run -itd --name test --privileged --shm-size=128G -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi -v /usr/local/dcmi:/usr/local/dcmi -e ASCEND_RT_VISIBLE_DEVICES="4,5" -v $(pwd):/work -w=/work -p 18000:8000 test-npu:0.0.1 bash
3. 登录container, 运行命令 paddleocr --image_dir /work/test.jpg --use_angle_cls true --use_npu true

[GreatV]

您在昇腾910B硬件上运行 PaddleOCR 时遇到的“解析2页PDF需4分钟”的性能问题，结合出现的警告信息 Warning: tiling offset out of range, index: 32，可能源于以下几个方面：

一、模型与昇腾NPU兼容性不足

当前使用版本：

• PaddlePaddle/PaddleOCR: 2.10.0
• paddlepaddle / paddlepaddle-npu: 3.0.0
• CANN: 8.0.0 (Huawei NPU驱动)

PaddleOCR 的默认模型（如 PP-OCRv4）通常是面向 GPU/CPU 优化的，而不是专门为昇腾 NPU（即华为 Ascend）优化。因此，即便技术上支持运行，模型在昇腾平台上可能不会充分利用算力，导致推理极慢。

建议措施：

• 尝试换用轻量化模型，如 PP-OCRv2 或 PP-OCRv3 Mobile，Mobile 模型具有更高的硬件适配弹性，例如：
  • ch_ppocr_mobile_v2.0_det_infer
  • ch_ppocr_mobile_v2.0_rec_infer
• 配置模型路径后加上参数 --det_model_dir 和 --rec_model_dir，例如：
  paddleocr --image_dir /work/test.jpg --use_angle_cls true --use_npu true --det_model_dir=./inference/ch_ppocr_mobile_v2.0_det_infer --rec_model_dir=./inference/ch_ppocr_mobile_v2.0_rec_infer

二、PaddleNPU 自定义设备性能限制

使用 paddlepaddle-custom-npu 时，其 NPU kernel 的支持范围和优化程度都较低。在您日志中提示：

Succeed in loading 358 custom kernel(s) from loaded lib(s)

但这说明很多 kernel 还是通过 fallback 到 CPU 或其他通用实现，而并非全部跑在昇腾 NPU 上，严重影响速度。

建议参考华为官方社区或飞桨社区是否有更新版本的 NPU kernel 支持，或等待官方优化。

三、CANN 驱动版本偏旧

您使用的是 CANN 8.0.0 RC2，这属于早期版本，可能 kernel 不稳定。目前部分 paddle 自定义 NPU kernel 需要依赖 CANN >= 8.0.2 或更高版本。建议尝试更新驱动，并参考对应版本兼容矩阵。

四、图像处理和解码步骤瓶颈

如果输入图像为 PDF 扫描件，可能包含图像解码处理（如 PyMuPDF、Pillow 等），并非全部耗时都在 NPU 推理。建议：

• 单独测试 OCR 模型推理时间（不含图像解码），排查瓶颈。
• 使用多线程（如通过 --ocr_batch_size 设置批处理）提高吞吐量。

五、warning: tiling offset out of range, index: 32

这个 warning 可能是某些 NPU kernel 执行图构建时产生的张量切片不合法。虽然不会终止运行，但说明模型图构建对昇腾 support 不完善。这也表明该网络并未特别为昇腾 NPU 编译过。

总结优化建议如下：

1. 更换为轻量 Mobile 模型：如 PP-OCRv2/v3 Mobile。
2. 升级 CANN 驱动至 ≥ 8.0.2 正式版本。
3. 考虑排查解码 + OCR 配置，使用 batch 提高吞吐。
4. 若有条件，可使用 Huawei 提供的 MindX SDK 将模型转 OM 格式部署。
5. 若可能，收集 profilng log（如设置环境变量 DUMP_GE_GRAPH）定位时间损耗位置。

如果确认模型层数已支持但推理慢，并且始终产生 tiling 警告，建议向飞桨或昇腾官方反馈该 issue 以获得更底层支持。

如需类似案例参考，可关注已知 Bugs/适配进展：
https://github.com/PaddlePaddle/Paddle/issues?q=is%3Aissue+npu
https://github.com/PaddlePaddle/Paddle/issues?q=label%3A%22device%2Fnpu%22

希望以上建议能帮助您解决昇腾910B上运行缓慢的问题。

---

Response generated by 🤖 feifei-bot | chatgpt-4o-latest

⚠️ This is an AI-generated response. Please verify any critical information.

[cupid-wg]

我去paddle里开了个issue PaddlePaddle/Paddle#72355 ， 在设置了export FLAGS_npu_jit_compile=0以后， 两页扫描件的时间在15s附近， 不确定这个performance是否正常