模型微调时，应当如何设置参数冻结？

[adamzhg]

项目中使用官方下载的ch_PP-OCRv4进行文字检测和识别，整体效果能满足要求，只是有个别场景文字识别的精度不够。因此想要基于ch_PP-OCRv4_rec_server这个预训练模型对这些个别场景进行微调来提高效果，但同时又不希望因此而影响泛化能力导致之前能准确识别的反而精度下降。这种情况下，请问应该冻结哪些层，或者说只放开哪几层进行训练？如何冻结？

[GreatV]

在使用 ch_PP-OCRv4_rec_server 模型进行微调时，为了提高特定场景的精度，同时尽量保持模型的泛化能力，参数冻结策略需要合理设计。以下是具体建议：

1. 冻结与解冻的层选择

• 冻结主干网络（Backbone）层：主干网络（如 MobileNet 或 ResNet）通常提取的是通用的低层特征，这些特征在大多数场景中都具有较好的泛化能力。因此，建议将主干网络的参数全部冻结，避免对这些通用特征的修改。
• 解冻最后的全连接层或者部分高层特征层：识别精度的差异通常出现在高层特征或特定任务相关的层上。因此，可以解冻模型最后的几层（如分类头或 RNN 层），专注于调整与特定场景相关的特征。

2. 如何冻结参数

在 PaddleOCR 中，可以将变量的stop_gradient属性设置为True来实现参数冻结。

3. 微调过程中的注意事项

• 学习率设置：对于微调过程，建议使用较小的学习率（如原始学习率的 1/10），以避免对预训练权重进行过大的扰动。
• 微调数据量：需要确保用于微调的特定场景数据量足够大，且样本分布尽量全面，以减少过拟合。
• 评估泛化能力：在微调过程中，需要定期在原始数据集上进行评估，确保模型性能没有显著下降。

4. 参考链接

根据提供的文档，暂未找到关于 ch_PP-OCRv4_rec_server 的直接冻结层推荐，不过可以参考 官方讨论 中提到的 v3 蒸馏模型的微调经验。虽然文档中主要提到速度优化，但其中的微调框架和方法也适用于 v4 模型。

---

Response generated by feifei-bot | chatgpt-4o-latest

[adamzhg]

请问ch_PP-OCRv4_rec_server的训练原始数据集是哪些？如果把自定义数据集和这些原始数据集混合到一起重新训练，nvidia 3090单卡大概需要多长时间？

[GreatV]

请参考

• 如何对检测模型finetune，比如冻结前面的层或某些层使用小的学习率学习？
• 数据量说明