rec模型训练，冻结 backbone（ResNet34 部分），只更新最后的 CTC 相关层，以减少对已学到特征的影响。给出完整代码

[nissansz]

rec模型训练，冻结 backbone（ResNet34 部分），只更新最后的 CTC 相关层，以减少对已学到特征的影响。给出完整代码

[GreatV]

以下是使用 PaddleOCR 进行训练时，冻结 ResNet34 作为 backbone，仅更新最后的 CTC 相关层的完整代码示例。此方法可减少对已学到特征的影响，仅微调 CTC 层。

1. 修改模型冻结 backbone

在 PaddleOCR 框架中，我们可以手动设置 backbone 的参数 requires_grad=False，从而冻结 ResNet34 部分，仅训练 CTC 相关层。

完整代码

import paddle
import paddle.nn as nn
import paddle.optimizer as optim
from paddleocr import PaddleOCR, draw_ocr
from paddleocr.ppocr.modeling.architectures.rec_model import RecModel
from paddleocr.ppocr.modeling.backbones.rec_resnet_fpn import ResNet
from paddleocr.ppocr.modeling.heads.rec_ctc_head import CTCHead
from paddleocr.ppocr.modeling.necks.rnn import SequenceEncoder
from paddleocr.ppocr.data import build_dataloader

# 1. 加载 OCR 识别模型
ocr_model = RecModel("rec_r34_vd_none_bilstm_ctc")

# 2. 冻结 ResNet34 backbone
for param in ocr_model.backbone.parameters():
    param.stop_gradient = True  # 冻结参数

# 3. 仅训练 CTC 相关层
ctc_params = []
for name, param in ocr_model.named_parameters():
    if "head" in name or "neck" in name:  # 只更新 CTC 相关层（neck 和 head）
        param.stop_gradient = False
        ctc_params.append(param)

# 4. 设置优化器，仅优化 CTC 相关层
optimizer = optim.Adam(learning_rate=0.001, parameters=ctc_params)

# 5. 定义损失函数
criterion = nn.CTCLoss()

# 6. 训练循环
num_epochs = 10
train_loader = build_dataloader(config="path/to/your/config.yml")  # 替换为实际路径

for epoch in range(num_epochs):
    for batch_id, data in enumerate(train_loader):
        images, labels = data

        # 前向传播
        preds = ocr_model(images)
        
        # 计算 CTC 损失
        loss = criterion(preds, labels)

        # 反向传播和优化
        loss.backward()
        optimizer.step()
        optimizer.clear_grad()

        if batch_id % 10 == 0:
            print(f"Epoch [{epoch+1}/{num_epochs}], Step [{batch_id}], Loss: {loss.numpy()[0]}")

2. 额外优化建议

• 学习率调整：可以参考 相关讨论，适当降低 lr，如 0.0005，以防止微调影响已学到的特征。
• 数据增强：微调时使用 PaddleOCR 提供的数据增强模块，增强模型泛化能力。
• 恢复训练：如果是恢复训练，可加载已有的模型权重，并继续训练。

这段代码确保 ResNet34 作为 backbone 的参数不被更新，仅优化 CTC 相关层，从而减少对已学到特征的影响。

---

Response generated by feifei-bot | chatgpt-4o-latest