torch框架能否支持C++推理

[1556900941lizerui]

C++推理onnx时是否支持GPU加速，之前好像说paddle框架用onnxruntime-gpu会有问题

[SWHL]

C++推理onnx是借助哪个推理引擎呢？如果也是onnxruntime的话，估计动态尺寸下加速效果也不明显。

[1556900941lizerui]

C++推理onnx是借助哪个推理引擎呢？如果也是onnxruntime的话，估计动态尺寸下加速效果也不明显。

这边打算是使用torch引擎，若不使用onnx，使用torch和C++的组合，能否达到一个比较好的推理速度？

[SWHL]

应该可以的。这个我没试过哈。不过现在PP-OCRv5的C++推理官方已经开始支持了，可以也试试这个。相关link: https://www.paddleocr.ai/latest/version3.x/deployment/cpp/OCR.html

[1556900941lizerui]

应该可以的。这个我没试过哈。不过现在PP-OCRv5的C++推理官方已经开始支持了，可以也试试这个。相关link: https://www.paddleocr.ai/latest/version3.x/deployment/cpp/OCR.html

好的感谢

[1556900941lizerui]

应该可以的。这个我没试过哈。不过现在PP-OCRv5的C++推理官方已经开始支持了，可以也试试这个。相关link: https://www.paddleocr.ai/latest/version3.x/deployment/cpp/OCR.html

RapidOCR目前对C++的推理支持貌似目前只支持Onnx和NCNN框架吗