predict_system.py 推理和 C++ 推理问题

[DH-0988]

🔎 Search before asking

• I have searched the PaddleOCR Docs and found no similar bug report.
• I have searched the PaddleOCR Issues and found no similar bug report.
• I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

问题一：
det用的yml det_r50_db++_icdar15.yml
修改了以下参数

pretrained_model: ResNet50_dcn_asf_synthtext_pretrained.pdparams
unclip_ratio: 3.0  
det_box_type: 'poly'
EastRandomCropData:
        size:
        - 640
        - 640
DetResizeForTest:
        image_shape:
        - 640
        - 640

rec用的yml en_PP-OCRv3_rec.yml 没修改官方参数 【3， 48， 320】

用export_model.py导出模型后，用 predict_det.py 和 predict_rec.py 单独测试准确率基本达到99%，但是用串联的方式predict_system.py测试，准确率不足10%（utility.py 参数设置和训练时一样了）。

问题二：
根据官方提供的C++库和代码，加载上面两个网络训练好的模型，DB++ 文本检测框一个都检测不出（用ch_PP-OCRv3_det_cml.yml标注的矩形框训练的模型可以正常检出），请问C++版本推理 是否支持 DB++ 检出 和 SVTR_LCNet 识别的组合及DB++为何不能正常输出检测框。

希望解答！！！

🏃‍♂️ Environment (运行环境)

python=3.12
paddleocr=2.9.1
paddlepaddle-gpu=2.6.1
cuda=11.8

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

官方代码 predict_system.py

[GreatV]

问题一：predict_system.py 推理准确率低的原因分析

在 predict_system.py 中，检测和识别是串联进行的，即先进行文本检测，然后将检测到的文本区域裁剪出来，再进行文本识别。你提到单独使用 predict_det.py 和 predict_rec.py 时准确率很高，但串联使用时准确率却很低。可能的原因包括：

1. 检测框裁剪问题：

   • 在 predict_system.py 中，检测到的文本区域可能会被裁剪得不准确，导致识别模型无法正确识别。你可以检查 predict_system.py 中裁剪后的图像，看看是否与单独使用 predict_rec.py 时的输入图像一致。
   • 如果裁剪后的图像质量较差（如分辨率低、模糊等），识别模型的性能会显著下降。

2. 图像预处理不一致：

   • 在 predict_system.py 中，检测和识别的图像预处理步骤可能与单独使用 predict_det.py 和 predict_rec.py 时不一致。例如，图像缩放、归一化等操作可能不同，导致识别结果不一致。

3. 检测模型与识别模型的兼容性：

   • 你使用的检测模型是 det_r50_db++_icdar15.yml，而识别模型是 en_PP-OCRv3_rec.yml。这两个模型在训练时可能使用了不同的数据增强策略或预处理方法，导致在串联使用时效果不佳。

问题二：C++ 推理中 DB++ 检测框无法正常输出的原因分析

1. C++ 推理库对 DB++ 的支持：

   • 你提到使用 C++ 推理库时，DB++ 文本检测框无法正常输出，而使用 ch_PP-OCRv3_det_cml.yml 训练的模型可以正常检测。这可能是因为 C++ 推理库对 DB++ 模型的支持不够完善，或者 DB++ 模型的后处理逻辑在 C++ 版本中未正确实现。
   • 你可以检查 C++ 推理库的文档，确认是否支持 DB++ 模型的后处理逻辑。

2. 模型导出问题：

   • 在导出模型时，确保导出的模型格式与 C++ 推理库兼容。DB++ 模型的后处理逻辑可能较为复杂，导出时需要注意相关参数的设置。

3. C++ 推理代码的配置：

   • 检查 C++ 推理代码中是否正确加载了 DB++ 模型，并且相关参数（如 unclip_ratio、det_box_type 等）是否与训练时一致。

解决方案建议

1. 检查裁剪后的图像：

   • 在 predict_system.py 中，保存检测后裁剪的图像，并与单独使用 predict_rec.py 时的输入图像进行对比，确保裁剪后的图像质量一致。

2. 统一预处理步骤：

   • 确保 predict_system.py 中的图像预处理步骤与单独使用 predict_det.py 和 predict_rec.py 时一致。

3. 验证 C++ 推理库的支持：

   • 确认 C++ 推理库是否支持 DB++ 模型的后处理逻辑，并检查模型导出时的参数设置。

4. 参考相关 Issue：

   • 你可以参考 Issue #14027，其中讨论了类似的问题，可能对你有帮助。

通过以上步骤，你应该能够找到问题的根本原因并解决它。如果问题仍然存在，建议在 PaddleOCR 的 GitHub 仓库中提交一个新的 Issue，详细描述你的问题和环境配置，以便开发者进一步帮助你。

---

Response generated by 🤖 feifei-bot | deepseek-chat

⚠️ This is an AI-generated response. Please verify any critical information.

[DH-0988]

出现这种问题是什么原因