latest/version3.x/pipeline_usage/PaddleOCR-VL-Huawei-Ascend-NPU

[giscus[bot]]

latest/version3.x/pipeline_usage/PaddleOCR-VL-Huawei-Ascend-NPU

Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)

https://www.paddleocr.ai/latest/version3.x/pipeline_usage/PaddleOCR-VL-Huawei-Ascend-NPU.html

[BeanSprouts]

NPU下不支持PaddlePaddle推理方式是指CLI和python代码两者都不支持吗。

[JevonYang]

使用python代码直接调用PaddleOCR-VL的时候batch_size总是为1，但是没有发现地方能够调整（使用vllm调用方式没问题）

[fuleige]

参照高性能服务化部署方案,发现paddleocr-vl-tritonserver没有调PP-DocLayoutV3这个模型,只是做了一层请求的转发,看起来这个容器意义不大了,还是只想利用tritonserver的批合并这种请求调度能力?

[xj-github528]

请问怎么在离线设备上进行高性能服务化部署？？

[xj-github528]

请问怎么在离线设备上进行高性能服务化部署？？给的这个教程应该是在线设备上部署的https://github.com/PaddlePaddle/PaddleOCR/blob/main/deploy/paddleocr_vl_docker/hps/README.md