ch_PP-OCRv4_server_rec模型 python预测引擎推理 速度问题

[lytws]

• 系统环境/System Environment：Ubuntu 22.04 LTS
• 版本号/Version：Paddle：2.6, gpu 版本 PaddleOCR：2.7
• 运行指令/Command Code：python tools/infer/predict_system.py --image_dir="img_folder" --det_model_dir="./ch_PP-OCRv4_server_det_infer/" --cls_model_dir="./ch_ppocr_mobile_v2.0_cls_infer/" --rec_model_dir="./ch_PP-OCRv4_rec_server_infer/" --use_angle_cls=true
• 完整报错/Complete Error Message：无

---

大大们好。
这边用 gpu 服务器按照 基于Python引擎的PP-OCR模型库推理 尝试单进程跑了一批串联推理的图片数据，发现识别这一步速度有点慢，例如：

• 36K, 353*498 像素的图片，det 识别出27个框框，rec耗时700毫秒;
• 109K, 758*1074 像素的图片，det 识别出25个框框，rec耗时800毫秒；

目前尝试过：

• 换轻量模型，总体速度不比 server 模型快多少；
• 开启多进程，对于单张图片速度貌似更慢了；

请教一下还有什么提速的思路呢？

[changdazhou]

建议尝试使用fastdeploy进行推理部署哈，效果更好

[lytws]

建议尝试使用fastdeploy进行推理部署哈，效果更好

@changdazhou 大大好。

这边尝试过用 fastdeploy 部署，使用 http 请求。数据上看速度没有什么明显的变化，而且发现在完成 rec 推理后返回到返回请求响应之间有几秒钟时间的间隔。尝试过换引擎跟调整一些参数，基本没有什么变化。可以解答一下吗？

或者如果用 c++ 进行部署的话，理论上会不会有显著的速度提升呢？(这个我还没有尝试，因为我觉的可能不会有太多改变)

[changdazhou]

使用的开源fastdeploy部署的吗，建议尝试一下使用paddlex中的本地化部署哈。fastdploy为了保证速度，python的API最后也是c++推理的哈

[lytws]

使用的开源fastdeploy部署的吗，建议尝试一下使用paddlex中的本地化部署哈。fastdploy为了保证速度，python的API最后也是c++推理的哈

是的，使用的是 fastdeploy 的 fastdeploy_serving。也尝试过调整推理后端，效果也不太理想。在使用 Paddle Inference 时经常出现爆显存的情况(用的测试机器显卡是t4，16g显存)

[changdazhou]

看来之前的速度慢更可能的原因在于机器的性能瓶颈，爆显存可能是因为fastdploy的默认配置都是为了32G显卡准备的，这个需要我去问相关方向的同事给您确定一下哈

[TingquanGao]

建议看一下GPU利用率，如果GPU利用率已经比较高，那就是机器瓶颈。否则的话，建议重写推理代码，使用多进程、组流水线等方式提高GPU利用率。

[mingforpc]

使用Fastdeploy的QPS大概能到什么层度？
我看 pdserving 的部署方式，python的能达到20+，但看起来pdserving不推荐使用了？