请教识别模型量化蒸馏的具体步骤及配置和预训练模型使用哪个

[leesimeng]

如果想得到量化蒸馏后的识别模型，应该使用那个配置文件和预训练模型？

目前尝试过rec的ch_PP-OCRv3_rec_distillation.yml和v4版本的ch_PP-OCRv4_rec_distill.yml，并使用对应预训练模型en_PP-OCRv3_rec_slim_train.tar或ch_PP-OCRv4_rec_train.tar。但最终结果并不理想：
1、对于v4版本，训练过程直接因为ratio异常日志而终止；
2、对于v3版本，不改变backbone，能正常训练但acc跑了400个epoch仍为0；
3、要不就是能正常训练拿到推理模型，但大小为9-10m左右，并未蒸馏量化；

[GreatV]

要实现识别模型的“量化+蒸馏”训练，建议采用正确的配置文件和匹配的预训练模型，并按照以下步骤操作。下面是详细流程及建议配置：

一、量化蒸馏的完整流程

1. 安装PaddleSlim（必须）

确保使用与PaddleOCR兼容的版本，例如2.3.2：

pip install paddleslim==2.3.2

2. 准备识别模型的蒸馏预训练权重

你需要使用识别模型的“蒸馏训练”模型（即teacher-student结构）。

例如，对于PP-OCRv3模型：

• 使用的配置：ch_PP-OCRv3_rec_distillation.yml
• 匹配预训练：en_PP-OCRv3_rec_slim_train.tar（适用于多语言，若使用中文数据建议换成 ch_PP-OCRv3_rec_distill_train.tar）

对于PP-OCRv4模型：

• 使用 ch_PP-OCRv4_rec_distill.yml
• 对应模型为 ch_PP-OCRv4_rec_train.tar（如有蒸馏版本建议优先使用）

3. 启动量化训练（重点）

量化训练推荐使用PaddleOCR中提供的 quant.py 脚本，其路径为 deploy/slim/quantization/quant.py。

参考命令如下（以PP-OCRv3为例）：

python deploy/slim/quantization/quant.py
-c configs/rec/ch_PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml
-o Global.pretrained_model=./ch_PP-OCRv3_rec_distill_train/best_accuracy
Global.save_model_dir=./output/rec_quant_v3/

其中需注意：

• pretrained_model 应是提取后的 “best_accuracy” 模型路径；
• 配置文件中需包含 distillation 和 quant 结构（如果找不到相关字段，可能不是支持蒸馏+量化的配置）；
• 如果配置中没有量化策略或量化模块，可参考 ch_PP-OCRv3_det_cml.yml 配置文件手动合并相关字段。

4. 导出推理模型

使用 export_model.py 将量化训练的模型导出成 inference_model：

python deploy/slim/quantization/export_model.py
-c configs/rec/ch_PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml
-o Global.checkpoints=output/rec_quant_v3/best_accuracy
Global.save_inference_dir=./output/rec_quant_v3_infer/

此时模型 parameters 是 FP32，但数值已被量化处理。

5. 模型部署与进一步压缩

导出的模型仍为伪量化（含Q/DQ算子），要获得真正的 int8 推理加速，需要使用：

• Paddle Lite
• 或 TensorRT（设置精度为 INT8）

避免常见问题说明：

• v3版本acc为0：很可能是丢失了 distillation_loss 或未正确加载 teacher 模型，可检查配置是否包含 distillation 字段，并确认预训练模型为蒸馏模型。
• v4版本出现“ratio异常”：排查数据源、增强比例及YAML配置尤其 reader 中的 settings 是否适配新版本模型。
• 推理模型大小未变化：仅进行单独蒸馏训练或默认训练不会减小模型体积，需结合量化训练 + opt/TRT 导出过程。

总结推荐：

优先使用以下配置+模型组合进行量化蒸馏：

1. 配置文件：configs/rec/ch_PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml
2. 预训练模型：ch_PP-OCRv3_rec_distill_train.tar 内的 best_accuracy
3. 执行脚本：deploy/slim/quantization/quant.py
4. 最终部署：使用PaddleLite或TensorRT进行INT8精度推理部署

如果使用PP-OCRv4，请确保distillation配置文件与量化框架兼容，配置文件中需包含量化和蒸馏两个模块定义，某些v4配置可能暂未合并完整结构，可参考v3的结构进行手动调整。

---

Response generated by 🤖 feifei-bot | chatgpt-4o-latest

⚠️ This is an AI-generated response. Please verify any critical information.