关于更换字典微调文本识别模型，acc一直在57%上下一直提升不上去

[o0ii0o]

其中一段日志如下：
[2025/02/10 12:41:00] ppocr INFO: epoch: [650/800], global_step: 6150, lr: 0.000010, acc: 0.585937, norm_edit_dis: 0.847266, Teacher_acc: 0.578125, Teacher_norm_edit_dis: 0.842225, dml_ctc_0: 5.081125, loss: 53.012030, dml_sar_0: 2.156744, loss_distance_l2_Student_Teacher_0: 0.041590, loss_ctc_Student_0: 19.968964, loss_ctc_Teacher_1: 20.565991, loss_sar_Student_0: 2.449266, loss_sar_Teacher_1: 2.413702, avg_reader_cost: 0.43734 s, avg_batch_cost: 2.03909 s, avg_samples: 64.0, ips: 31.38649 samples/s, eta: 1:53:00, max_mem_reserved: 13078 MB, max_mem_allocated: 12140 MB
[2025/02/10 12:41:07] ppocr INFO: save model in ./output/rec_ppocr_v3_distillation/latest

更换的是ppocr/dicts/chinese_cht_dict.txt中文繁体字典，训练数据共8000张图片，全部都是由TextRecognitionDataGenerator工具合成而来。加载的预训练模型为ch_PP-OCRv3_rec_train

验证集有1000张，评估的acc为74%

[GreatV]

你的问题是更换字典进行微调后，模型的 acc 一直在 57% 附近无法提升。结合你的日志和训练配置，我建议你从以下几个方面进行排查和优化：

可能的原因及优化建议：

1. 字典问题

• 你更换的是 ppocr/dicts/chinese_cht_dict.txt，需要确认：
  • 该字典是否与数据集中的字符完全匹配？如果字典中缺少部分字符，模型可能无法正确识别这些字符。
  • 训练数据的标签是否正确映射到新的字典？可以打印部分样本的标签，确保它们能索引到正确的字典项。

2. 数据质量

• 你的训练数据是 TextRecognitionDataGenerator 生成的，可能存在以下问题：
  • 字体、背景和噪声过于单一，导致模型泛化能力不足。可以尝试引入真实文本图片或增加数据增强（模糊、旋转、颜色抖动等）。
  • 标注是否正确？可以随机抽取一部分数据，手动检查标签是否符合预期。

3. 训练数据量

• 你的训练数据 只有 8000 张，这个数据量对于 OCR 任务来说较小，可能导致模型容易过拟合或无法学习足够的特征。
  • 你可以尝试增加数据量，比如扩展到 数万级别，或者使用 更多不同类型的合成样本 来训练。

4. 学习率

• 你的日志显示当前学习率 lr: 0.000010，如果 acc 长时间停滞不前，可以尝试：
  • 降低学习率衰减速度，让模型有足够的时间收敛。
  • 使用更大的 batch size（如果显存允许），稳定梯度更新。

5. 预训练模型

• 你使用的是 ch_PP-OCRv3_rec_train 作为预训练模型，但该模型是基于简体中文训练的，直接用于繁体中文可能效果不好。
  • 可以考虑 使用繁体中文数据进行更长时间的微调，或者 从头训练 一个适用于繁体字符的模型。

6. 验证集评估

• 你的验证集 acc 达到 74%，但训练集 acc 只有 57%，这可能表明：
  • 训练数据和验证数据存在较大差异，导致模型更容易适应验证集而不适应训练数据。
  • 你可以尝试 检查验证集数据的分布，确保它与训练集一致。

---

最终建议

1. 检查字典是否完整覆盖训练数据中的字符。
2. 扩充训练数据量，并增加数据增强。
3. 调整学习率策略，避免过快收敛。
4. 确保训练数据和验证数据的分布一致。
5. 尝试更适合繁体字的预训练模型或训练更长时间。

你可以尝试这些方法看看是否能提升 acc，如果仍有问题，可以提供更多日志和训练配置进行进一步分析。

---

Response generated by feifei-bot | chatgpt-4o-latest