ch_PP-OCRv4 评估icdar2015 eval.py结果都为0

[liushuigao]

🔎 Search before asking

• I have searched the PaddleOCR Docs and found no similar bug report.
• I have searched the PaddleOCR Issues and found no similar bug report.
• I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

![Uploading

python tools/eval.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_cml.yml -o Global.checkpoints=inference/ch_PP-OCRv3_det_distill_train/ch_PP-OCRv3_det_distill_train/best_accuracy
运行上面代码时指标有结果，但是换成ch_PP-OCRv4的ch_PP-OCRv4_det_cml.yml指标全为0（即下面的命令，权重采用的时对应config的权重）
python tools/eval.py -c configs/det/ch_PP-OCRv4/ch_PP-OCRv4_det_cml.yml -o Global.checkpoints=inference/ch_PP-OCRv4_det_distill_train/ch_PP-OCRv4_det_distill_train/best_accuracy
且下面的命令有大量的警告，是官方文档里面提供的权重不对？

🏃‍♂️ Environment (运行环境)

paddlepaddle:2.4.2
cuda:10.2

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

python tools/eval.py -c configs/det/ch_PP-OCRv4/ch_PP-OCRv4_det_cml.yml -o Global.pretrained_model=inference/ch_PP-OCRv4_det_train/ch_PP-OCRv4_det_train/best_accuracy

[SWHL]

从提供的日志来看，建议升级paddlepaddle版本到最新，同时paddleocr代码也用main分支最新的。
之后，先推理单张图像，查看是否正常出结果 → 确保环境和代码没有问题
最后，再重新跑eval代码，查看结果

[GreatV]

根据你的描述和问题背景，ch_PP-OCRv4 在 eval.py 上的指标为 0 可能由以下原因导致。以下是详细分析和解决建议：

---

1. 检查权重文件是否正确

你提到运行 eval.py 的时候使用的权重是官方提供的 ch_PP-OCRv4_det_cml 对应的权重。如果指标为 0，有可能是：

• 权重文件没有正确加载，或者路径错误。
• 官方提供的权重与 eval.py 中的配置文件 ch_PP-OCRv4_det_cml.yml 不匹配。

解决方法：

• 确保权重文件路径正确，并且能够被加载。例如，你可以在代码中加入以下检查：

  assert os.path.exists('inference/ch_PP-OCRv4_det_distill_train/ch_PP-OCRv4_det_distill_train/best_accuracy'), "权重文件不存在"

• 确保权重文件版本和 ch_PP-OCRv4_det_cml.yml 配置相匹配。如果你使用的是最新的 PaddleOCR 版本，建议重新下载最新的权重文件。

---

2. 检查数据集格式

如果你的 eval.py 输出指标为 0，说明模型可能没有正确预测出结果。这可能是由于评估数据集的格式不匹配导致的。

检查点：

• 确保评估数据集的标注文件格式正确，特别是 icdar2015 格式是否符合要求。
• 确保 eval.py 中的配置文件和数据集路径正确。
• 确保 label_file_list 参数中的文件路径指向正确的验证集标注文件。

解决方法：

• 使用以下命令测试数据集是否能正确加载：

  python tools/eval.py -c configs/det/ch_PP-OCRv4/ch_PP-OCRv4_det_cml.yml --o Global.debug=True

  这样可以检查数据集加载过程中的潜在问题。

---

3. 检查配置文件参数

根据你的描述，ch_PP-OCRv4_det_cml.yml 的训练指标较低（precision: 0.67, recall: 0.40），而 ch_PP-OCRv4_det_student.yml 和 ch_PP-OCRv4_det_teacher.yml 的指标很好。这可能与配置文件中的蒸馏模型设置有关。

潜在问题：

• DistillationModel 中的 Teacher 权重是否正确加载？如果 Teacher 权重未正确加载，将直接影响蒸馏效果。
• Loss 中的权重设置是否适合你的数据集？例如，alpha 和 beta 的值可能需要调整。

解决方法：

• 确保 Teacher 的预训练权重可以正常下载和加载：

  Teacher:
    pretrained: https://paddleocr.bj.bcebos.com/PP-OCRv4/chinese/ch_PP-OCRv4_det_cml_teacher_pretrained/teacher.pdparams
    freeze_params: true

  如果下载失败，手动下载权重并将路径修改为本地路径。

• 尝试调整损失函数的参数，例如：

  alpha: 2
  beta: 5
  ohem_ratio: 1

  这些参数需要根据数据集重新调优。

---

4. 评估过程中的后处理问题

PostProcess 中的参数（如 thresh 和 box_thresh）可能对评估结果有较大影响。如果这些值设置不当，可能导致预测框过滤过多，从而指标为 0。

解决方法：

• 调整 PostProcess 的参数，尝试更低的阈值：

  PostProcess:
    thresh: 0.2  # 原为0.3
    box_thresh: 0.5  # 原为0.6
    unclip_ratio: 1.8  # 原为1.5

---

5. 调试训练流程

你提到 ch_PP-OCRv4_det_cml.yml 的训练效果不如其他配置文件。这可能是因为：

• 数据集规模较小，蒸馏难以发挥作用。
• 学生模型（Student 和 Student2）的初始权重设置不当。

解决方法：

• 尝试给学生模型加载预训练权重，而不是从头训练。例如：

  Student:
    pretrained: https://paddleocr.bj.bcebos.com/pretrained/PPLCNetV3_x0_75_ocr_det.pdparams
  Student2:
    pretrained: https://paddleocr.bj.bcebos.com/pretrained/PPLCNetV3_x0_75_ocr_det.pdparams

• 增加蒸馏训练的 epoch 数（例如从 100 增加到 200），确保模型充分学习。

---

6. 参考社区讨论

以下是一些相关的社区讨论和解决方案：

• OCRv4_det_cml 检测指标较低：讨论了如何调整 ch_PP-OCRv4_det_cml.yml 的学习率和损失函数权重。
• ch_v4 det训练后，完全检测不出来：提到训练小数据集时需要使用 Teacher 蒸馏模型，且训练轮数需要适当增加。

---

总结与建议

1. 确保权重文件和数据集路径正确。
2. 调整 PostProcess 和损失函数参数，更适配你的数据集。
3. 在训练时加载学生模型的预训练权重，避免从头训练。
4. 增加训练 epoch 数，观察指标变化。

希望以上建议能够帮助你解决问题！

---

Response generated by 🤖 feifei-bot | chatgpt-4o-latest