使用 openvino/onnx 推理结果与使用 best_accuracy.pdparams 推理结果不一致

[afs1955]

更新：

目前定位到是训练模型导出为推理模型后，精度发生了变化

上图为训练模型推理结果

推理模型预测结果1（导出为静态图推理模型）：

导出推理命令：

python export_model.py -c /root/pyProjcet/PaddleOCR3.1/PaddleOCR/configs/det/PP-OCRv3/PP-OCRv3_mobile_det.yml -o Global.checkpoints=/root/pyProjcet/PaddleOCR3.1/PaddleOCR/myTest/project1/test/train/Train/best_accuracy.pdparams Global.save_inference_dir=/root/pyProjcet/PaddleOCR3.1/PaddleOCR/myTest/project1/test/train/Train Global.export_with_pir=False

推理模型预测结果2（导出为动态图推理模型）：

导出推理命令：

python export_model.py -c /root/pyProjcet/PaddleOCR3.1/PaddleOCR/configs/det/PP-OCRv3/PP-OCRv3_mobile_det_copy.yml -o Global.pretrained_model=/root/pyProjcet/PaddleOCR3.1/PaddleOCR/myTest/project1/test/train/Train/best_accuracy.pdparams Global.save_inference_dir=/root/pyProjcet/PaddleOCR3.1/PaddleOCR/myTest/project1/test/train/Train

原问题：

版本：paddleocr==3.1 paddlepaddle-gpu==3.1.0 PPOCR-v3_mobile_det.yml

1. 使用 infer_det.py ，加载训练后的 best_accuracy.pdparams 进行推理，dbnet 输出的分割图如下：

2. 将训练后的模型导出为推理模型，再导出为 onnx/IR 模型，denet 输出分割图如下：

部署编码的前处理将图像进行Resize（按长边或短边限制、并自动补齐为32倍数的等比例缩放），减均值去方差（对应参数与训练cfg参数保持一致），送入网络，导出分割图如下（二者基本一致）：

onnxruntime推理

openvino推理

本次训练期望结果为使用 best_accuracy.pdparams 推理后的结果

疑惑：
1. 如题：将推理模型导出为 IR/onnx 后，推理结果 与 best_accuracy.pdparams 定位结果不一致；
2. 使用官网提供的推理模型，直接导出为 onnx / IR，与使用官网提供的训练模型，再导出 onnx / IR，定位结果一致；
3. 使用paddleocr==2.6版本（其余的版本没有测试），使用无论是重新训练或者使用官网提供的预训练模型进行推理，IR/onnx 定位结果与使用 best_accuracy.pdparams 推理结果一致。

训练cfg

Global:
model_name: PP-OCRv3_mobile_det # To use static model for inference.
debug: false
use_gpu: true
epoch_num: 100
log_smooth_window: 20
print_batch_step: 10
save_model_dir: ./output/PP-OCRv3_mobile_det/
save_epoch_step: 10
eval_batch_step:

• 0
• 100
  cal_metric_during_train: false
  pretrained_model: https://paddleocr.bj.bcebos.com/pretrained/MobileNetV3_large_x0_5_pretrained.pdparams
  checkpoints: null
  save_inference_dir: null
  use_visualdl: false
  infer_img: doc/imgs_en/img_10.jpg
  save_res_path: ./checkpoints/det_db/predicts_db.txt
  distributed: true
  d2s_train_image_shape: [3, -1, -1]

Architecture:
model_type: det
algorithm: DB
Transform:
Backbone:
name: MobileNetV3
scale: 0.5
model_name: large
disable_se: True
Neck:
name: RSEFPN
out_channels: 96
shortcut: True
Head:
name: DBHead
k: 50

Loss:
name: DBLoss
balance_loss: true
main_loss_type: DiceLoss
alpha: 5
beta: 10
ohem_ratio: 3
Optimizer:
name: Adam
beta1: 0.9
beta2: 0.999
lr:
name: Const
learning_rate: 0.0005
warmup_epoch: 0
regularizer:
name: L2
factor: 5.0e-05
PostProcess:
name: DBPostProcess
thresh: 0.3
box_thresh: 0.6
max_candidates: 1000
unclip_ratio: 1.5
Metric:
name: DetMetric
main_indicator: hmean
Train:
dataset:
name: SimpleDataSet
data_dir: F:\PROJECT\PROJECT_pyProject\train_data\det\train
label_file_list:
- F:\PROJECT\PROJECT_pyProject\train_data\det\train.txt
ratio_list: [1.0]
transforms:
- DecodeImage:
img_mode: BGR
channel_first: false
- DetLabelEncode: null
- IaaAugment:
augmenter_args:
- type: Fliplr
args:
p: 0.5
- type: Affine
args:
rotate:
- -2
- 2
- type: Resize
args:
size:
- 0.8
- 1.2
- EastRandomCropData:
size:
- 960
- 960
max_tries: 50
keep_ratio: true
- MakeBorderMap:
shrink_ratio: 0.4
thresh_min: 0.3
thresh_max: 0.7
- MakeShrinkMap:
shrink_ratio: 0.4
min_text_size: 8
- NormalizeImage:
scale: 1./255.
mean:
- 0.485
- 0.456
- 0.406
std:
- 0.229
- 0.224
- 0.225
order: hwc
- ToCHWImage: null
- KeepKeys:
keep_keys:
- image
- threshold_map
- threshold_mask
- shrink_map
- shrink_mask
loader:
shuffle: true
drop_last: false
batch_size_per_card: 8
num_workers: 4
Eval:
dataset:
name: SimpleDataSet
data_dir: F:\PROJECT\PROJECT_pyProject\train_data\det\val
label_file_list:
- F:\PROJECT\PROJECT_pyProject\train_data\det\val.txt
transforms:
- DecodeImage:
img_mode: BGR
channel_first: false
- DetLabelEncode: null
- DetResizeForTest: null
- NormalizeImage:
scale: 1./255.
mean:
- 0.485
- 0.456
- 0.406
std:
- 0.229
- 0.224
- 0.225
order: hwc
- ToCHWImage: null
- KeepKeys:
keep_keys:
- image
- shape
- polys
- ignore_tags
loader:
shuffle: false
drop_last: false
batch_size_per_card: 1
num_workers: 2

推理/导出命令

// 训练

python train.py
-c /root/pyProjcet/PaddleOCR3.1/PaddleOCR/configs/det/PP-OCRv3/PP-OCRv3_mobile_det_copy.yml

// 用训练模型进行推理

python infer_det.py \
-c /root/pyProjcet/PaddleOCR3.1/PaddleOCR/configs/det/PP-OCRv3/PP-OCRv3_mobile_det.yml \
-o Global.pretrained_model= /root/pyProjcet/PaddleOCR3.1/PaddleOCR/myTest/project1/test/train/Train/best_accuracy.pdparams \ Global.infer_img="/root/pyProjcet/PaddleOCR3.1/PaddleOCR/dianrong1.bmp"

// 将 训练模型 导出为 推理模型

python infer_det.py
-c /root/pyProjcet/PaddleOCR3.1/PaddleOCR/configs/det/PP-OCRv3/PP-OCRv3_mobile_det.yml
-o Global.pretrained_model=/root/pyProjcet/PaddleOCR3.1/PaddleOCR/myTest/project1/test/train/Train/best_accuracy.pdparams
Global.infer_img=/root/pyProjcet/PaddleOCR3.1/PaddleOCR/dianrong1.bmp

// 使用推理模型导出onnx

paddle2onnx
--model_dir /root/pyProjcet/PaddleOCR3.1/PaddleOCR/myTest/project1/test/train/Train/infer_model
--save_file /root/pyProjcet/PaddleOCR3.1/PaddleOCR/myTest/project1/test/train/ONNX/inference.onnx
--opset_version 13

// 导出 IR 模型

mo
--input_model /root/pyProjcet/PaddleOCR3.1/PaddleOCR/myTest/project1/test/train/ONNX/inference.onnx
--output_dir /root/pyProjcet/PaddleOCR3.1/PaddleOCR/myTest/project1/test/train/Train/inference_ir
--framework=onnx
--compress_to_fp16=False

期待回复，万分感激

[Bobholamovic]

感谢你提供详细的信息！请问

1. 如题：将推理模型导出为 IR/onnx 后，推理结果 与 best_accuracy.pdparams 定位结果不一致；
2. 使用官网提供的推理模型，直接导出为 onnx / IR，与使用官网提供的训练模型，再导出 onnx / IR，定位结果一致；

指的是官方的推理模型没问题，但自训练的模型有问题吗？