v3、v4模型转换成x86下的lite .nb模型推理结果变差

[Krisort]

🔎 Search before asking

• I have searched the PaddleOCR Docs and found no similar bug report.
• I have searched the PaddleOCR Issues and found no similar bug report.
• I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

基于仓库的 predict_system.py 加入了 --use_lite 的分支，使用 Paddle Lite 推理 .nb 模型，推理效果很差，且定位到 rec 模型效果变差得很明显；想知道使用 Paddle Lite 推理 .nb 模型和 predict_system.py 的前后预处理是不是不兼容，感谢。

正常结果：

v4 nb模型推理结果（结果差）：

🏃‍♂️ Environment (运行环境)

x86 GPU
paddle lite： 2.14-rc

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

转换脚本：
paddle_lite_opt --model_dir=./models/v4_ori/ch_PP-OCRv4_det_infer/ch_PP-OCRv4_det_infer --optimize_out=./models/v4_nb/ch_PP-OCRv3_det_opt --valid_targets=x86 --optimize_out_type=naive_buffer

paddle_lite_opt --model_dir=./models/v4_ori/ch_PP-OCRv4_rec_infer/ch_PP-OCRv4_rec_infer --optimize_out=./models/v4_nb/ch_PP-OCRv3_rec_opt --valid_targets=x86 --optimize_out_type=naive_buffer

paddle_lite_opt --model_dir=./models/v4_ori/ch_ppocr_mobile_v2.0_cls_infer/ch_ppocr_mobile_v2.0_cls_infer --optimize_out=./models/v4_nb/ch_ppocr_mobile_v2.0_cls_opt --valid_targets=x86 --optimize_out_type=naive_buffer

[GreatV]

根据您的描述和提供的上下文，以下是关于使用 Paddle Lite 推理 .nb 模型时推理结果变差的详细分析和建议：

---

问题解析

1. 推理结果变差的原因：

   • 前处理与后处理不一致：
     您提到使用了 predict_system.py 的 --use_lite 分支来调用 Paddle Lite，但结果变差，可能是因为 Paddle Lite 的模型推理过程中，与原始 Paddle 模型的输入/输出形状或数据预处理方式存在不兼容性。
     • 输入图像的归一化、缩放、形状调整等操作可能与 Paddle Lite 推理不匹配。
     • 如果 .nb 模型的输入形状和推理脚本中的前处理逻辑未对齐，会导致模型推理效果显著下降。
   • 精度优化的问题：
     在转换模型时，您使用了 paddle_lite_opt 工具并指定了 --valid_targets=x86 和 --optimize_out_type=naive_buffer，这可能会导致模型的量化精度或优化策略不适合特定硬件环境。
     • 例如，模型量化为 FP16 或 INT8 可能导致精度损失，从而影响推理效果。

2. 影响 rec 模型效果的因素：

   • rec（文本识别）模型对输入数据的敏感度较高，特别是在字符检测和识别阶段，输入图像的小幅度失真可能导致识别精度显著下降。
   • 如果 .nb 模型的推理过程中输入图像形状被截断或变形，可能是导致识别结果变差的直接原因。

---

解决方案

1. 检查前处理与后处理的一致性：

   • 确保使用 paddle_lite_opt 转换 .nb 模型时的输入形状与 predict_system.py 的前处理（比如 resize_op、normalize_op 等）一致。
   • 可以通过打印 .nb 模型的输入形状（input tensor shape）来确认是否与原始 Paddle 模型的输入形状一致。

   示例：

   paddle_lite_opt --print_model_ops=true --model_file=<model_path>/model.pdmodel --param_file=<model_path>/model.pdiparams

2. 验证 Paddle Lite 优化后的模型是否正常运行：

   • 尝试使用 Paddle Lite 的 full_api 调试工具，在转换后的 .nb 模型上执行推理，检查是否存在推理过程中的数值异常或维度错误。

   示例代码：

   import paddlelite.lite as lite
   
   # 加载 .nb 模型
   predictor = lite.create_paddle_predictor('./models/v4_nb/ch_PP-OCRv3_rec_opt.nb')
   
   # 打印输入信息
   input_tensor = predictor.get_input(0)
   print("Input shape:", input_tensor.shape())

3. 尝试不同的优化参数：

   • 转换 .nb 模型时，可以尝试不同的优化参数，比如：
     • 不指定 --valid_targets=x86，让工具自动选择最佳优化策略。
     • 使用不同的 --optimize_out_type，如 protobuf 而非 naive_buffer。
   • 示例：

     paddle_lite_opt --model_dir=./models/v4_ori/ch_PP-OCRv4_rec_infer/ \
                     --optimize_out=./models/v4_nb/ch_PP-OCRv4_rec_opt \
                     --optimize_out_type=protobuf

4. 对比 .nb 模型和原始模型的推理结果：

   • 使用 Paddle Lite 和原始 Paddle 模型分别推理同一张输入图像，对比推理结果。
   • 如果 .nb 模型推理结果变差，可以逐步排查是否是模型权重损失精度或前处理逻辑不一致导致的。

5. 尝试不同的 Paddle Lite 版本：

   • 您当前使用的是 Paddle Lite 2.14-rc 版本。可以尝试更新到稳定版本，或者降级到之前的稳定版本（如 2.13），以排除版本问题对推理效果的影响。

---

参考相关 Issue

1. 关于 Paddle Lite 的 .nb 模型推理与原始 Paddle 模型不一致的问题，可参考以下官方 Issue：

   • Issue: Paddle Lite 推理结果与 Paddle 模型不一致
   • Issue: 模型转换后推理精度下降

2. 关于 PP-OCRv4 推理耗时的讨论：

   • Issue: PP-OCRv4技术文档中识别模型推理耗时与自训练模型推理耗时存在差异

---

总结

• 核心问题：模型推理结果变差可能是由于 .nb 模型的输入/输出形状与前处理逻辑不匹配，或者由于模型量化优化策略导致精度损失。
• 建议步骤：
  1. 检查 .nb 模型的输入形状，确保与前处理一致。
  2. 尝试不同的 paddle_lite_opt 参数进行模型转换。
  3. 对比 Paddle 和 Paddle Lite 的推理结果，定位问题。
  4. 使用最新或稳定版本的 Paddle Lite 工具进行测试。

---

Response generated by feifei-bot | chatgpt-4o-latest