版面检测模型微调后结果与标注不匹配

[LT-07]

标注如下

label2coco后格式如下

{
"images": [
{
"height": 1191,
"width": 1684,
"id": 1,
"file_name": "jianhangliushui_5.png"
},
{
"height": 1191,
"width": 1684,
"id": 2,
"file_name": "jianhangliushui_20.png"
},
{
"height": 1191,
"width": 1684,
"id": 3,
"file_name": "jianhangliushui_8.png"
}
],
"annotations": [
{
"iscrowd": 0,
"image_id": 1,
"bbox": [
597.4794520547944,
22.897260273972567,
438.3561643835619,
32.87671232876713
],
......
}],
"categories": [
{
"id": 1,
"name": "figure_title",
"supercategory": "figure_title"
},
{
"id": 2,
"name": "text",
"supercategory": "text"
},
{
"id": 3,
"name": "table",
"supercategory": "table"
},
{
"id": 4,
"name": "seal",
"supercategory": "seal"
}
]
}

训练完成后结果如下

输出json如下

{
"input_path": "/home/mft/quan_train/banmianjiance/data_test/images/jianhangliushui_5.png",
"page_index": null,
"boxes": [
{
"cls_id": 5,
"label": "Table",
"score": 0.9108839631080627,
"coordinate": [
46.182682037353516,
100.04399108886719,
1604.726806640625,
1042.6273193359375
]
},
{
"cls_id": 4,
"label": "Figure caption",
"score": 0.5901358127593994,
"coordinate": [
596.763671875,
26.531038284301758,
1029.5452880859375,
48.09413146972656
]
}
]
}

---

标签文档label.txt如下

只使用了需要的标签

问题

输出结果中没有学到任何信息，甚至标签映射都发生了改变。
对PP-DocLayout-L进行微调，原始数据是通过labelme标注后通过labelme2coco转换得到。coco数据通过了数据检测。30张表格图训练40轮测试。

• 问题1：推理结果标签映射从table变为Table。figure_title变为Figure_caption为什么呢？
• 问题2，推理结果Table边框远大于标注结果是为什么呢？

[liuhongen1234567]

您好，针对问题1可以看下导出模型的inference.yaml 文件里的 label_list 是否正确，推理时会根据label_list 进行类别映射。针对问题2，如果想要表格完全贴合边界框可以增加数据量试试。训练后的表格如果算IoU应该已经很高了，感觉想要完全贴合还是比较困难。