在Paddle 3.1.0中，HPI（高性能推理）是否值得坚持使用CUDA 11.6，为什么官方Docker镜像中缺少TensorRT？ #15971
-
|
你好， 在Paddle（或PaddleX）版本3.1.0中，使用HPI（高性能推理）模式在使用PaddleOCR时能带来多少实际好处？这种收益是否足够显著，以至于值得坚持使用CUDA 11.6并放弃对更新CUDA版本的支持？ 另外，我注意到最新的3.1.0版本的官方Docker镜像中不包含TensorRT。这有什么具体原因吗？ |
Beta Was this translation helpful? Give feedback.
Replies: 1 comment 4 replies
-
|
在文档中可以查看我们此前测量的各个模型启用高性能推理前后的耗时数据。不过，还是建议在你的环境中测试一下不同方案（例如CUDA 11.8+高性能推理，CUDA 12.6+普通推理）的速度，毕竟不同软硬件环境中，推理引擎的表现可能会存在差异，应当以实际测量情况为准。目前高性能推理也在支持CUDA 12中，预计在PaddleOCR 3.2版本能够体现。 PaddlePaddle 3.1.0暂不支持TensorRT，所以镜像中可能没有包含TensorRT。 |
Beta Was this translation helpful? Give feedback.
-
感谢你的回复与说明！ 关于你提到的“在文档中可以查看我们此前测量的各个模型启用高性能推理前后的耗时数据”，请问是否方便提供该文档的具体链接？目前文档内容比较分散，不太容易找到相关部分。 再次感谢你抽空解答！ |
Beta Was this translation helpful? Give feedback.
-
|
在产线文档中对各模块的模型介绍里可以找到，例如：https://paddlepaddle.github.io/PaddleOCR/latest/version3.x/pipeline_usage/PP-StructureV3.html#1-pp-structurev3 |
Beta Was this translation helpful? Give feedback.
-
|
再次由衷地感谢您。 不过，我能否再请教您一个问题呢？ 我目前正在使用 PaddleOCR 开发一个用于识别收据的 OCR 项目，现在我对 3.x 版本的 PaddleOCR 的识别效果非常满意。 我现在正尝试对 OCR 提取出来的数据进行进一步处理，但这部分遇到了一些困难。在查阅资料时我了解到，在 2.x 版本（或者说 PaddlePaddle 和 PaddleNLP 为 2.6 版本）时期，PP-Structure 是支持 关键信息抽取（Key Information Extraction, KIE） 的，而且可以通过训练 WildReceipt 数据集，提取我们所需的关键信息。 我真正希望的是，能否在当前 3.x 环境中依旧以本地的方式使用之前版本中提供的 KIE 功能。所以我想请教，目前这项功能是否仍被支持？或者未来是否有重新支持的计划？如果不行的话，是否有我尚未了解的替代方案可以实现类似的本地 KIE 效果？ 非常抱歉问题比较长，再次感谢您的耐心解答。 |
Beta Was this translation helpful? Give feedback.
-
|
paddleocr目前不支持传统的KIE方法，只提供基于大模型的信息抽取方案ChatOCR。如果你有这方面的需求的话，欢迎向我们发起feature request，我们将评审需求并可能在之后的版本添加～ |
Beta Was this translation helpful? Give feedback.
在文档中可以查看我们此前测量的各个模型启用高性能推理前后的耗时数据。不过，还是建议在你的环境中测试一下不同方案（例如CUDA 11.8+高性能推理，CUDA 12.6+普通推理）的速度，毕竟不同软硬件环境中，推理引擎的表现可能会存在差异，应当以实际测量情况为准。目前高性能推理也在支持CUDA 12中，预计在PaddleOCR 3.2版本能够体现。
PaddlePaddle 3.1.0暂不支持TensorRT，所以镜像中可能没有包含TensorRT。