微调ch_PP-OCRv3_det_student模型，推理阶段漏检测文本的问题如何解决？

[gokamisama]

参考 #5229 #5194 的做法，分别得到了检测后绘制出检测框的图和其对应p图：

可以看到p图中的文字区域都是存在的，但最终的检测结果中总是会漏掉一些文字，我也尝试调小了det_db_thresh和det_db_box_thresh参数，但是效果不明显仍然有漏检，我还能尝试哪些方案去解决呢？

[GreatV]

在微调 ch_PP-OCRv3_det_student 模型后推理阶段出现文本漏检的问题，可能涉及多方面原因和解决方案。以下是一些具体的优化方法和建议：

---

1. 调参优化

• det_db_thresh 和 det_db_box_thresh 调整：
  如果已经尝试降低 det_db_thresh 和 det_db_box_thresh 参数但效果不显著，可以进一步尝试以下范围：
  • det_db_thresh: 从默认的 0.3 降低到 0.2 或更低
  • det_db_box_thresh: 从默认的 0.6 降低到 0.5 或更低
• det_db_unclip_ratio 调整：
  增大 det_db_unclip_ratio 参数（默认值为 1.5），例如尝试 2.0 或更大。这个参数控制检测框的扩展比例，可以帮助覆盖更多的文本区域。

---

2. 分析漏检原因

• 查看特征图：
  使用调试工具可视化检测网络的特征图，检查是否有文本区域被网络忽略。这可以帮助定位问题是出在前处理、模型推理还是后处理阶段。
• 检查输入图像质量：
  确保输入图像的分辨率足够高。如果图像质量较低，可能会导致漏检。可以尝试调整 det_limit_side_len 参数（例如从默认的 960 增大到 1280）来提高输入图像的分辨率。

---

3. 数据增强

微调时的数据增强对提升模型的鲁棒性至关重要：

• 增加更多样化的训练数据：
  确保训练集中包含与测试场景类似的文本样式、大小、背景干扰等。
• 随机旋转与裁剪：
  增加数据的多样性，例如随机旋转、裁剪或调整亮度。
• 添加噪声：
  在训练集中加入带噪声的图像，模拟真实场景中的模糊或低对比度情况。

---

4. 后处理优化

• 修改后处理逻辑：
  如果检测框在后处理阶段被过滤掉，可以调整后处理的过滤条件，例如降低 drop_score 参数值（默认 0.5），尝试 0.3 或更低。
• 增加 NMS 参数调整：
  如果漏检是由于框被非极大值抑制（NMS）过滤掉，可以优化 NMS 的相关参数，例如降低 iou_threshold。

---

5. 模型结构优化

• 更换检测算法：
  如果 DB 算法效果仍不理想，可以尝试其他检测算法（如 EAST 或 SAST），并观察是否有改善。
• 使用更高版本模型：
  如果目前使用的 PP-OCRv3 不满足需求，可以尝试升级到 PP-OCRv4 或者更高版本。

---

6. Debug 思路

• 逐步检查：
  从原始特征图（p图）到最终检测结果，逐步检查哪一部分丢失了文本区域。
• 绘制中间结果：
  在不同阶段绘制检测框和置信度分布图，分析是否由于阈值问题导致漏检。

---

7. 参考相关讨论和文档

根据 #5229 和 #5194 提到的调试方法，已经绘制了检测框和 p图，表明模型能够感知到部分文本区域，但在后处理阶段丢失了部分信息。

在 PaddleOCR Discussions #13849 中，也有类似的文本漏检问题，建议：

• 使用更丰富的训练数据
• 检查模型的损失函数权重
• 结合 PSE 算法优化小文本块检测

---

8. 其他优化方案

• 多尺度推理：
  在推理阶段，对输入图像进行多尺度调整（如缩放到不同分辨率），然后融合检测结果。
• 分割精细化：
  如果漏检的文本区域较小，可能需要在分割阶段对小区域进行更精细化处理。

---

通过结合以上方法，可以逐步定位并解决漏检问题。如果问题仍未解决，可以提供更多模型训练细节或场景图像信息，以便进一步分析。

---

Response generated by feifei-bot | chatgpt-4o-latest