断点训练，精度视乎有所丢失

[kerry-weic]

在进行ocr识别模型微调时，训练轮次为200次，在迭代到40和85轮次的时候被中断，85论次时模型验证精度日志如下：

[2025/03/24 08:22:02] ppocr INFO: epoch: [85/200], global_step: 1854000, lr: 0.000016, CTCLoss: 0.042771, NRTRLoss: 1.216213, loss: 1.257341, avg_reader_cost: 0.00134 s, avg_batch_cost: 0.19585 s, avg_samples: 32.5, ips: 165.94335 samples/s, eta: 10 days, 14:51:44, max_mem_reserved: 22179 MB, max_mem_allocated: 14044 MB
[2025/03/24 08:33:59] ppocr INFO: cur metric, acc: 0.9931321733306714, norm_edit_dis: 0.9993308938555322, fps: 362.0530575454458
[2025/03/24 08:34:02] ppocr INFO: save best model is to ./output/rec_svtrv2_ch_2025_t1_2/best_accuracy
[2025/03/24 08:34:02] ppocr INFO: best metric, acc: 0.9931321733306714, is_float16: False, norm_edit_dis: 0.9993308938555322, fps: 362.0530575454458, best_epoch: 85, start_epoch: 41

使用断点训练，第一次模型验证日志如下：

[2025/03/24 14:58:13] ppocr INFO: epoch: [86/200], global_step: 1000, lr: 0.000016, CTCLoss: 0.012100, NRTRLoss: 1.216086, loss: 1.228032, avg_reader_cost: 0.00074 s, avg_batch_cost: 0.18322 s, avg_samples: 38.5, ips: 210.12749 samples/s, eta: 10 days, 12:59:35, max_mem_reserved: 18579 MB, max_mem_allocated: 14044 MB
[2025/03/24 15:06:13] ppocr INFO: cur metric, acc: 0.9928884300067469, norm_edit_dis: 0.9992995362122891, fps: 380.2206603245262
[2025/03/24 15:06:16] ppocr INFO: save best model is to ./output/rec_svtrv2_ch_2025_t1_2/best_accuracy
[2025/03/24 15:06:16] ppocr INFO: best metric, acc: 0.9928884300067469, is_float16: False, norm_edit_dis: 0.9992995362122891, fps: 380.2206603245262, best_epoch: 86, start_epoch: 86

从日志中可以看到85论次模型最佳精度为 0.99313，而使用断点训练(86轮次)后，模型最佳精度变成了 0.992888, 这个是属于预期吗？
使用断点训练脚本如下：

python3 -m paddle.distributed.launch --gpus '1' tools/train.py -c configs/rec/SVTRv2/rec_svtrv2_ch.yml -o Global.checkpoints=./output/rec_svtrv2_ch_2025_t1_2/best_accuracy

[GreatV]

从你的训练日志来看，断点恢复后（第86轮次）的最佳模型精度略微下降（0.993132 → 0.992888）。这个现象在深度学习训练中是预期范围内的，原因可能包括以下几个方面：

可能的原因：

1. 随机性和种子设置：

   • 在重新启动训练时，即使使用相同的代码和数据，某些层的参数可能会有轻微变化（例如 BatchNorm 或 dropout 层可能会有所不同）。
   • 如果没有固定随机种子（seed），则不同阶段的训练可能会导致细微的梯度计算差异，最终影响精度。

2. 优化器状态丢失：

   • 你的恢复训练脚本 -o Global.checkpoints=./output/rec_svtrv2_ch_2025_t1_2/best_accuracy 可能仅恢复了模型参数，但优化器状态（如梯度移动平均、动量等）可能未正确恢复。
   • 如果 best_accuracy 只是模型权重，而不是完整的 checkpoint（包括优化器状态），可能导致训练策略不一致，从而影响精度。

3. 学习率调度问题：

   • lr: 0.000016 保持一致，说明学习率策略可能是正确的，但如果恢复的是 best model 而非完整 checkpoint，可能导致学习率调整不符合预期的曲线。

4. 评估数据波动：

   • 每轮次评测时，计算 acc 可能会受批次数据的微小变化影响，导致精度出现轻微波动。

解决方案：

1. 确保恢复完整训练状态：

   • 建议直接使用最新的 checkpoint 而不是 best_accuracy，确保优化器状态也可以正确恢复：

     python3 -m paddle.distributed.launch --gpus '1' tools/train.py -c configs/rec/SVTRv2/rec_svtrv2_ch.yml -o Global.checkpoints=./output/rec_svtrv2_ch_2025_t1_2/latest

2. 检查 checkpoint 是否包含优化器状态：

   • 在恢复训练前，手动检查 best_accuracy.pdparams 是否包含 .pdopt（优化器状态文件）。
   • 如果没有 .pdopt，说明恢复的仅是模型参数，而非完整训练状态，建议换成 latest.pdopt。

3. 固定随机种子：

   • 确保训练脚本和 PaddleOCR 配置文件里固定 seed 以保证实验可复现：

     import paddle
     import random
     import numpy as np
     paddle.seed(1234)
     random.seed(1234)
     np.random.seed(1234)

结论：

你的情况属于正常的轻微波动，但如果希望避免这种情况，建议在断点恢复训练时确保：

• 使用最新 checkpoint 而不是 best_accuracy
• 恢复优化器状态
• 固定随机种子

如果使用完整 checkpoint 仍然导致较大精度下降，建议进一步检查训练流程是否有参数丢失或者学习率调度问题。

---

Response generated by 🤖 feifei-bot | chatgpt-4o-latest

⚠️ This is an AI-generated response. Please verify any critical information.

[cuicheng01]

这个是正常的波动吧？可以看看这块之前的epoch的精度波动如何？

[kerry-weic]

按我现在的理解，不同的epoch精度存在一定的波动是正常的，但最佳精度(best metric, acc)不应该，在没出现一个epoch的精度超过现有记录最高精度时它的值是固定的，不会出现下降的情况不知道我理解是否正确。