使用官方/PP-OCRv5_server_det_pretrained模型估计icdar2015数据召回很低

[cqray1990]

🔎 Search before asking

• I have searched the PaddleOCR Docs and found no similar bug report.
• I have searched the PaddleOCR Issues and found no similar bug report.
• I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

W0527 22:25:26.478688 3286537 gpu_resources.cc:119] Please NOTE: device: 0, GPU Compute Capability: 8.6, Driver API Version: 12.8, Runtime API Version: 12.6
W0527 22:25:26.479807 3286537 gpu_resources.cc:164] device: 0, cuDNN Version: 9.5.
[2025/05/27 22:25:26] ppocr INFO: resume from /PP-OCRv5_server_det_pretrained
[2025/05/27 22:25:26] ppocr INFO: metric in ckpt ***************
[2025/05/27 22:25:26] ppocr INFO: is_float16:False
eval model:: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:34<00:00, 14.44it/s]
[2025/05/27 22:26:01] ppocr INFO: metric eval ***************
[2025/05/27 22:26:01] ppocr INFO: precision:0.5834818775995246
[2025/05/27 22:26:01] ppocr INFO: recall:0.47279730380356283
[2025/05/27 22:26:01] ppocr INFO: hmean:0.5223404255319148
[2025/05/27 22:26:01] ppocr INFO: fps:21.754756046859978

🏃‍♂️ Environment (运行环境)

paddleocr3.0

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

python3 tools/eval.py -cconfigs/det/PP-OCRv5/PP-OCRv5_server_det_train.yml -o Global.checkpoints="PP-OCRv5_server_det_pretrained"

[Sunting78]

您好，可以设置一下边长，

PaddleOCR/configs/det/PP-OCRv5/PP-OCRv5_server_det.yml

Line 150 in 803f253

- DetResizeForTest:

这个里面加两个参数，limit_type_side: 960 limit_type: max

[cqray1990]

您好，可以设置一下边长，

PaddleOCR/configs/det/PP-OCRv5/PP-OCRv5_server_det.yml

Line 150 in 803f253

• DetResizeForTest:
  这个里面加两个参数，limit_type_side: 960 limit_type: max

加了eval结果：
[2025/05/30 14:53:19] ppocr INFO: precision:0.5834818775995246
[2025/05/30 14:53:19] ppocr INFO: recall:0.47279730380356283
[2025/05/30 14:53:19] ppocr INFO: hmean:0.5223404255319148
[2025/05/30 14:53:19] ppocr INFO: fps:28.82231948595704
一样差，是不是原始发布模型对icdar检测不好？我都没训练的，直接用的官方模型测试的
@Sunting78

[lin-contextere]

我也遇到了同样的问题，我觉得是和ICDAR2015数据集的标注方式，以及IOU metrics的定义有关。例如下面是ICDAR2015，validation set 的img_10.jpg的ground truth

这个是PP-OCRv5_server_det的预测文本框

对于这个例子计算基于IOU的metrices会得到
{'gtCare': 9, 'detCare': 3, 'detMatched': 1}
{'precision': 0.3333333333333333, 'recall': 0.1111111111111111, 'hmean': 0.16666666666666666}

Metrics 非常低，因为ground truth都是word级别的文本框，检测框都是行级别的，他们匹配不上。但从OCR pipeline中看，行级别的检测没有任何问题，并不影响后面识别模型的使用。只能说ICDAR2015的标注方式，和IOU metrics定义并不能体现PP-OCRv5_server_det的实际能力。PP-OCRv5_server_det在训练的时候用的标注数据可能多数都是行级别的，与ICDAR2015数据集的标注方式不匹配。

[Sunting78]

您好 确实是这样 v5检测是文本行粒度。不是词汇粒度

[cqray1990]

您好 确实是这样 v5检测是文本行粒度。不是词汇粒度

但是重新训练ICDAR数据也没用，标注不都是四个点标注？ 应该跟标注没有关系吧,这本来就是做文本检测
@Sunting78