layoutThresholdnumber | object | nullpredict 方法的 layout_threshold 参数相关说明。👉模型列表详情
+文档图像方向分类模块：
+| 模型 | 模型下载链接 | +Top-1 Acc（%） | +GPU推理耗时（ms） [常规模式 / 高性能模式] |
+CPU推理耗时（ms） [常规模式 / 高性能模式] |
+模型存储大小（MB） | +介绍 | +
|---|---|---|---|---|---|---|
| PP-LCNet_x1_0_doc_ori | +推理模型/训练模型 | +99.06 | +2.62 / 0.59 | +3.24 / 1.19 | +7 | +基于PP-LCNet_x1_0的文档图像分类模型，含有四个类别，即0度，90度，180度，270度 | +
文本图像矫正模块：
+| 模型 | 模型下载链接 | +CER | +GPU推理耗时（ms） [常规模式 / 高性能模式] |
+CPU推理耗时（ms） [常规模式 / 高性能模式] |
+模型存储大小（MB） | +介绍 | +
|---|---|---|---|---|---|---|
| UVDoc | +推理模型/训练模型 | +0.179 | +19.05 / 19.05 | +- / 869.82 | +30.3 | +高精度文本图像矫正模型 | +
版面区域检测排序模块模型：
+| 模型 | 模型下载链接 | +mAP(0.5)（%） | +GPU推理耗时（ms） [常规模式 / 高性能模式] |
+CPU推理耗时（ms） [常规模式 / 高性能模式] |
+模型存储大小（MB） | +介绍 | +
|---|---|---|---|---|---|---|
| PP-DocLayoutV2 | +推理模型/训练模型 | +- | +- / - | +- / - | +- | +基于RT-DETR-L在包含中英文论文、杂志、合同、书本、试卷和研报等场景的自建数据集训练的高精度版面区域定位和区域排序一体模型 | +
多模态识别模块模型：
+| 模型 | 模型下载链接 | +Top1 Acc(%) | +GPU推理耗时（ms） [常规模式 / 高性能模式] |
+CPU推理耗时（ms） [常规模式 / 高性能模式] |
+模型存储大小（MB） | +
|---|---|---|---|---|---|
| PaddleOCR-VL | +推理模型/训练模型 | +- | +- / - | +- / - | +- | +
-
+
- 性能测试环境
+
-
+
- 测试数据集：
+
+
-
+
- 文档图像方向分类模型：PaddleX 自建的数据集，覆盖证件和文档等多个场景，包含 1000 张图片。 +
- 文本图像矫正模型：DocUNet。 +
- 版面区域检测模型：PaddleOCR 自建的版面区域分析数据集，包含中英文论文、杂志和研报等常见的 1w 张文档类型图片。 +
- PP-DocLayout_plus-L：PaddleOCR 自建的版面区域检测数据集，包含中英文论文、杂志、报纸、研报、PPT、试卷、课本等 1300 张文档类型图片。 +
+ - 硬件配置：
+
-
+
- GPU：NVIDIA Tesla T4 +
- CPU：Intel Xeon Gold 6271C @ 2.60GHz +
+ - 软件环境：
+
-
+
- Ubuntu 20.04 / CUDA 11.8 / cuDNN 8.9 / TensorRT 8.6.1.6 +
- paddlepaddle 3.0.0 / paddlex 3.0.3 +
+
+ - 测试数据集：
+
+
- 推理模式说明 +
| 模式 | +GPU配置 | +CPU配置 | +加速技术组合 | +
|---|---|---|---|
| 常规模式 | +FP32精度 / 无TRT加速 | +FP32精度 / 8线程 | +PaddleInference | +
| 高性能模式 | +选择先验精度类型和加速策略的最优组合 | +FP32精度 / 8线程 | +选择先验最优后端（Paddle/OpenVINO/TRT等） | +
+
+
+
+
+
+
+
+
+
+* 测试环境：
+ * PaddlePaddle 3.1.0、CUDA 11.8、cuDNN 8.9
+ * PaddleX @ develop (f1eb28e23cfa54ce3e9234d2e61fcb87c93cf407)
+ * Docker image: ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle:3.1.0-gpu-cuda11.8-cudnn8.9
+* 测试数据：
+ * 测试数据包含表格、印章、公式、图表的280张图像。
+* 测试策略：
+ * 使用 20 个样本进行预热，然后对整个数据集重复 1 次以进行速度性能测试。
+* 备注：
+ * 由于我们没有收集NPU和XPU的设备内存数据，因此表中相应位置的数据标记为N/A。
+
+## 2. 快速开始
+
+PaddleX 所提供的模型产线均可以快速体验效果，你可以在本地使用命令行或 Python 体验通用通用版面解析v3产线的效果。
+
+在本地使用通用版面解析v3产线前，请确保您已经按照[PaddleX本地安装教程](../../../installation/installation.md)完成了PaddleX的wheel包安装。如果您希望选择性安装依赖，请参考安装教程中的相关说明。该产线对应的依赖分组为 `ocr`。此外，为了使用飞桨框架读取 safetensors 格式模型，请执行如下命令安装 safetensors：
+
+```bash
+python -m pip install https://paddle-whl.bj.bcebos.com/nightly/cu126/safetensors/safetensors-0.6.2.dev0-cp38-abi3-linux_x86_64.whl
+```
+
+> 默认配置暂不支持 Compute Capability 低于 8.0 的 GPU（如 V100、RTX 3060 等）。请参阅下一节，了解如何在此类 GPU 上使用推理加速框架。
+
+### 2.1 命令行方式体验
+一行命令即可快速体验版面解析产线效果，使用 [测试文件](https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/paddleocr_vl_demo.png)，并将 `--input` 替换为本地路径，进行预测
+
+```
+paddlex --pipeline PaddleOCR-VL \
+ --input paddleocr_vl_demo.png \
+ --use_doc_orientation_classify False \
+ --use_doc_unwarping False \
+ --save_path ./output \
+ --device gpu:0
+```
+
+注：PaddleX 支持多个模型托管平台，官方模型默认优先从 HuggingFace 下载。PaddleX 也支持通过环境变量 `PADDLE_PDX_MODEL_SOURCE` 设置优先使用的托管平台，目前支持 `huggingface`、`aistudio`、`bos`、`modelscope`，如优先使用 `bos`：`PADDLE_PDX_MODEL_SOURCE="bos"`；
+
+相关的参数说明可以参考[2.2.2 Python脚本方式集成](#222-python脚本方式集成)中的参数说明。支持同时指定多个设备以进行并行推理，详情请参考 [产线并行推理](../../instructions/parallel_inference.md#指定多个推理设备)。
+
+运行后，会将结果打印到终端上，结果如下：
+
+点击展开/折叠表格
+<待补充> +| 流水线配置 | 硬件 | 平均推理时间 (s) | 峰值CPU利用率 (%) | 平均CPU利用率 (%) | 峰值主机内存 (MB) | 平均主机内存 (MB) | 峰值GPU利用率 (%) | 平均GPU利用率 (%) | 峰值设备内存 (MB) | 平均设备内存 (MB) |
|---|---|---|---|---|---|---|---|---|---|---|
| PP_StructureV3-default | +Intel 8350C + A100 | +1.38 | +1384.60 | +113.26 | +5781.59 | +3431.21 | +100 | +32.79 | +37370.00 | +34165.68 | +
| Intel 6271C + V100 | +2.38 | +608.70 | +109.96 | +6388.91 | +3737.19 | +100 | +39.08 | +26824.00 | +24581.61 | +|
| Intel 8563C + H20 | +1.36 | +744.30 | +112.82 | +6199.01 | +3865.78 | +100 | +43.81 | +35132.00 | +32077.12 | +|
| Intel 8350C + A10 | +1.74 | +418.50 | +105.96 | +6138.25 | +3503.41 | +100 | +48.54 | +18536.00 | +18353.93 | +|
| Intel 6271C + T4 | +3.70 | +434.40 | +105.45 | +6865.87 | +3595.68 | +100 | +71.92 | +13970.00 | +12668.58 | +
| Pipeline configuration | description |
|---|---|
| PP_StructureV3-default | +默认配置 | +
| PP_StructureV3-pp | +默认配置基础上，开启文档图像预处理 | +
| PP_StructureV3-full | +默认配置基础上，开启文档图像预处理和图表解析 | +
| PP_StructureV3-seal | +默认配置基础上，开启印章文本识别 | +
| PP_StructureV3-chart | +默认配置基础上，开启文档图表解析 | +
| PP_StructureV3-notable | +默认配置基础上，关闭表格识别 | +
| PP_StructureV3-noformula | +默认配置基础上，关闭公式识别 | +
| PP_StructureV3-lightweight | +默认配置基础上，将所有任务模型都换成最轻量版本 | +
👉点击展开
+
+{'res': {'input_path': 'paddleocr_vl_demo.png', 'page_index': None, 'model_settings': {'use_doc_preprocessor': False, 'use_seal_recognition': False, 'use_table_recognition': True, 'use_formula_recognition': True, 'use_chart_recognition': False, 'use_region_detection': True}, 'parsing_res_list': [{'block_label': 'doc_title', 'block_content': '助力双方交往搭建友谊桥梁', 'block_bbox': [133, 36, 1379, 123], 'block_id': 0, 'block_order': 1}, {'block_label': 'text', 'block_content': '本报记者沈小晓任彦黄培昭', 'block_bbox': [584, 159, 927, 179], 'block_id': 1, 'block_order': 2}, {'block_label': 'image', 'block_content': '', 'block_bbox': [774, 201, 1502, 685], 'block_id': 2, 'block_order': None}, {'block_label': 'figure_title', 'block_content': '在厄立特里亚不久前举办的第六届中国风筝文化节上，当地小学生体验风筝制作。中国驻厄立特里亚大使馆供图', 'block_bbox': [808, 704, 1484, 747], 'block_id': 3, 'block_order': None}, {'block_label': 'text', 'block_content': '身着中国传统民族服装的厄立特里亚青年依次登台表演中国民族舞、现代舞、扇子舞等，曼妙的舞姿赢得现场观众阵阵掌声。这是日前危立特里亚高等教育与研究院孔子学院(以下简称“厄特孔院")举办“喜迎新年"中国歌舞比赛的场景。\n', 'block_bbox': [9, 201, 358, 338], 'block_id': 4, 'block_order': 3}, {'block_label': 'text', 'block_content': '中国和厄立特里亚传统友谊深厚。近年来，在高质量共建“一带一路”框架下，中厄两国人文交流不断深化，互利合作的民意基础日益深厚。\n', 'block_bbox': [9, 345, 358, 435], 'block_id': 5, 'block_order': 4}, {'block_label': 'paragraph_title', 'block_content': '“学好中文，我们的未来不是梦”\n', 'block_bbox': [28, 456, 339, 514], 'block_id': 6, 'block_order': 5}, {'block_label': 'text', 'block_content': '“鲜花曾告诉我你怎样走过，大地知道你心中的每一个角落……"厄立特里亚阿斯马拉大学综合楼二层，一阵优美的歌声在走廊里回响。循着熟悉的旋律轻轻推开一间教室的门，学生们正跟着老师学唱中文歌曲《同一首歌》。', 'block_bbox': [9, 536, 358, 651], 'block_id': 7, 'block_order': 6}, {'block_label': 'text', 'block_content': '这是厄特孔院阿斯马拉大学教学点的一节中文歌曲课。为了让学生们更好地理解歌词大意，老师尤斯拉·穆罕默德萨尔·侯赛因逐字翻译和解释歌词。随着伴奏声响起，学生们边唱边随着节拍摇动身体，现场气氛热烈。', 'block_bbox': [9, 658, 359, 770], 'block_id': 8, 'block_order': 7}, {'block_label': 'text', 'block_content': '“这是中文歌曲初级班，共有32人。学生大部分来自首都阿斯马拉的中小学，年龄最小的仅有6岁。”尤斯拉告诉记者。', 'block_bbox': [10, 776, 359, 842], 'block_id': 9, 'block_order': 8}, {'block_label': 'text', 'block_content': '尤斯拉今年23岁，是厄立特里亚一所公立学校的艺术老师。她12岁开始在厄特孔院学习中文，在2017年第十届“汉语桥"世界中学生中文比赛中获得厄立特里亚赛区第一名，并和同伴代表厄立特里亚前往中国参加决赛，获得团体优胜奖。2022年起，尤斯拉开始在厄特孔院兼职教授中文歌曲，每周末两个课时。“中国文化博大精深，我希望我的学生们能够通过中文歌曲更好地理解中国文化。”她说。', 'block_bbox': [9, 848, 358, 1057], 'block_id': 10, 'block_order': 9}, {'block_label': 'text', 'block_content': '“姐姐，你想去中国吗?”“非常想！我想去看故宫、爬长城。”尤斯拉的学生中有一对能歌善舞的姐妹，姐姐露娅今年15岁，妹妹莉娅14岁，两人都已在厄特孔院学习多年，中文说得格外流利。\n', 'block_bbox': [9, 1064, 358, 1177], 'block_id': 11, 'block_order': 10}, {'block_label': 'text', 'block_content': '露娅对记者说：“这些年来，怀着对中文和中国文化的热爱，我们姐妹俩始终相互鼓励，一起学习。我们的中文一天比一天好，还学会了中文歌和中国舞。我们一定要到中国去。学好中文，我们的未来不是梦！”', 'block_bbox': [8, 1184, 358, 1297], 'block_id': 12, 'block_order': 11}, {'block_label': 'text', 'block_content': '据厄特孔院中方院长黄鸣飞介绍，这所孔院成立于2013年3月，由贵州财经大学和', 'block_bbox': [10, 1304, 358, 1346], 'block_id': 13, 'block_order': 12}, {'block_label': 'text', 'block_content': '厄立特里亚高等教育与研究院合作建立，开设了中国语言课程和中国文化课程，注册学生2万余人次。10余年来，厄特孔院已成为当地民众了解中国的一扇窗口。', 'block_bbox': [388, 200, 740, 290], 'block_id': 14, 'block_order': 13}, {'block_label': 'text', 'block_content': '黄鸣飞表示，随着来学习中文的人日益增多，阿斯马拉大学教学点已难以满足教学需要。2024年4月，由中企蜀道集团所属四川路桥承建的孔院教学楼项目在阿斯马拉开工建设，预计今年上半年竣工，建成后将为危特孔院提供全新的办学场地。\n', 'block_bbox': [389, 297, 740, 435], 'block_id': 15, 'block_order': 14}, {'block_label': 'paragraph_title', 'block_content': '“在中国学习的经历让我看到更广阔的世界”', 'block_bbox': [409, 456, 718, 515], 'block_id': 16, 'block_order': 15}, {'block_label': 'text', 'block_content': '多年来，厄立特里亚广大赴华留学生和培训人员积极投身国家建设，成为助力该国发展的人才和厄中友好的见证者和推动者。', 'block_bbox': [389, 537, 740, 603], 'block_id': 17, 'block_order': 16}, {'block_label': 'text', 'block_content': '在厄立特里亚全国妇女联盟工作的约翰娜·特韦尔德·凯莱塔就是其中一位。她曾在中华女子学院攻读硕士学位，研究方向是女性领导力与社会发展。其间，她实地走访中国多个地区，获得了观察中国社会发展的第一手资料。\n', 'block_bbox': [389, 609, 740, 745], 'block_id': 18, 'block_order': 17}, {'block_label': 'text', 'block_content': '谈起在中国求学的经历，约翰娜记忆犹新：“中国的发展在当今世界是独一无二的。沿着中国特色社会主义道路坚定前行，中国创造了发展奇迹，这一切都离不开中国共产党的领导。中国的发展经验值得许多国家学习借鉴。”\n', 'block_bbox': [389, 752, 740, 889], 'block_id': 19, 'block_order': 18}, {'block_label': 'text', 'block_content': '正在西南大学学习的厄立特里亚博士生穆卢盖塔·泽穆伊对中国怀有深厚感情。8年前，在北京师范大学获得硕士学位后，穆卢盖塔在社交媒体上写下这样一段话：“这是我人生的重要一步，自此我拥有了一双坚固的鞋子，赋予我穿越荆棘的力量。”', 'block_bbox': [389, 896, 740, 1033], 'block_id': 20, 'block_order': 19}, {'block_label': 'text', 'block_content': '穆卢盖塔密切关注中国在经济、科技、教育等领域的发展，“中国在科研等方面的实力与日俱增。在中国学习的经历让我看到更广阔的世界，从中受益匪浅。”\n', 'block_bbox': [389, 1040, 740, 1129], 'block_id': 21, 'block_order': 20}, {'block_label': 'text', 'block_content': '23岁的莉迪亚·埃斯蒂法诺斯已在厄特孔院学习3年，在中国书法、中国画等方面表现干分优秀，在2024年厄立特里亚赛区的“汉语桥”比赛中获得一等奖。莉迪亚说：“学习中国书法让我的内心变得安宁和纯粹。我也喜欢中国的服饰，希望未来能去中国学习，把中国不同民族元素融入服装设计中，创作出更多精美作品，也把厄特文化分享给更多的中国朋友。”\n', 'block_bbox': [389, 1136, 740, 1345], 'block_id': 22, 'block_order': 21}, {'block_label': 'text', 'block_content': '“不管远近都是客人，请不用客气；相约好了在一起，我们欢迎你……”在一场中厄青年联谊活动上，四川路桥中方员工同当地大学生合唱《北京欢迎你》。厄立特里亚技术学院计算机科学与工程专业学生鲁夫塔·谢拉是其中一名演唱者，她很早便在孔院学习中文，一直在为去中国留学作准备。“这句歌词是我们两国人民友谊的生动写照。无论是投身于厄立特里亚基础设施建设的中企员工，还是在中国留学的厄立特里亚学子，两国人民携手努力，必将推动两国关系不断向前发展。”鲁夫塔说。\n', 'block_bbox': [769, 776, 1121, 1058], 'block_id': 23, 'block_order': 22}, {'block_label': 'text', 'block_content': '厄立特里亚高等教育委员会主任助理萨马瑞表示：“每年我们都会组织学生到中国访问学习，自前有超过5000名厄立特里亚学生在中国留学。学习中国的教育经验，有助于提升厄立特里亚的教育水平。”', 'block_bbox': [770, 1064, 1121, 1177], 'block_id': 24, 'block_order': 23}, {'block_label': 'paragraph_title', 'block_content': '“共同向世界展示非洲和亚洲的灿烂文明”', 'block_bbox': [790, 1200, 1102, 1259], 'block_id': 25, 'block_order': 24}, {'block_label': 'text', 'block_content': '从阿斯马拉出发，沿着蜿蜒曲折的盘山公路一路向东寻找丝路印迹。驱车两个小时，记者来到位于厄立特里亚港口城市马萨', 'block_bbox': [770, 1280, 1122, 1346], 'block_id': 26, 'block_order': 25}, {'block_label': 'text', 'block_content': '瓦的北红海省博物馆。', 'block_bbox': [1154, 776, 1331, 794], 'block_id': 27, 'block_order': 26}, {'block_label': 'text', 'block_content': '博物馆二层陈列着一个发掘自阿杜利斯古城的中国古代陶制酒器，罐身上写着“万”“和”“禅”“山”等汉字。“这件文物证明，很早以前我们就通过海上丝绸之路进行贸易往来与文化交流。这也是厄立特里亚与中国友好交往历史的有力证明。”北红海省博物馆研究与文献部负责人伊萨亚斯·特斯法兹吉说。\n', 'block_bbox': [1152, 800, 1502, 986], 'block_id': 28, 'block_order': 27}, {'block_label': 'text', 'block_content': '厄立特里亚国家博物馆考古学和人类学研究员菲尔蒙·特韦尔德十分喜爱中国文化。他表示：“学习彼此的语言和文化，将帮助厄中两国人民更好地理解彼此，助力双方交往，搭建友谊桥梁。”\n', 'block_bbox': [1152, 992, 1502, 1106], 'block_id': 29, 'block_order': 28}, {'block_label': 'text', 'block_content': '厄立特里亚国家博物馆馆长塔吉丁·努重达姆·优素福曾多次访问中国，对中华文明的传承与创新、现代化博物馆的建设与发展印象深刻。“中国博物馆不仅有许多保存完好的文物，还充分运用先进科技手段进行展示，帮助人们更好理解中华文明。”塔吉丁说，“危立特里亚与中国都拥有悠久的文明，始终相互理解、相互尊重。我希望未来与中国同行加强合作，共同向世界展示非洲和亚洲的灿烂文明。”\n', 'block_bbox': [1151, 1112, 1502, 1346], 'block_id': 30, 'block_order': 29}], 'layout_det_res': {'input_path': None, 'page_index': None, 'boxes': [{'cls_id': 1, 'label': 'image', 'score': 0.9864752888679504, 'coordinate': [774.821, 201.05176, 1502.1008, 685.7733]}, {'cls_id': 2, 'label': 'text', 'score': 0.9859225749969482, 'coordinate': [769.8655, 776.2444, 1121.5986, 1058.4167]}, {'cls_id': 2, 'label': 'text', 'score': 0.9857110381126404, 'coordinate': [1151.98, 1112.5356, 1502.7852, 1346.3569]}, {'cls_id': 2, 'label': 'text', 'score': 0.9847239255905151, 'coordinate': [389.0322, 1136.3547, 740.2322, 1345.928]}, {'cls_id': 2, 'label': 'text', 'score': 0.9842492938041687, 'coordinate': [1152.1504, 800.1625, 1502.1265, 986.1522]}, {'cls_id': 2, 'label': 'text', 'score': 0.9840831160545349, 'coordinate': [9.158066, 848.8696, 358.5725, 1057.832]}, {'cls_id': 2, 'label': 'text', 'score': 0.9802583456039429, 'coordinate': [9.335953, 201.10046, 358.31543, 338.78876]}, {'cls_id': 2, 'label': 'text', 'score': 0.9801402688026428, 'coordinate': [389.1556, 297.4113, 740.07556, 435.41647]}, {'cls_id': 2, 'label': 'text', 'score': 0.9793564081192017, 'coordinate': [389.18976, 752.0959, 740.0832, 889.88043]}, {'cls_id': 2, 'label': 'text', 'score': 0.9793409109115601, 'coordinate': [389.02496, 896.34143, 740.7431, 1033.9465]}, {'cls_id': 2, 'label': 'text', 'score': 0.9776486754417419, 'coordinate': [8.950775, 1184.7842, 358.75067, 1297.8755]}, {'cls_id': 2, 'label': 'text', 'score': 0.9773538708686829, 'coordinate': [770.7178, 1064.5714, 1121.2249, 1177.9928]}, {'cls_id': 2, 'label': 'text', 'score': 0.9773064255714417, 'coordinate': [389.38086, 609.7071, 740.0553, 745.3206]}, {'cls_id': 2, 'label': 'text', 'score': 0.9765821099281311, 'coordinate': [1152.0115, 992.296, 1502.4929, 1106.1166]}, {'cls_id': 2, 'label': 'text', 'score': 0.9761461019515991, 'coordinate': [9.46727, 536.993, 358.2047, 651.32025]}, {'cls_id': 2, 'label': 'text', 'score': 0.975399911403656, 'coordinate': [9.353531, 1064.3059, 358.45312, 1177.8347]}, {'cls_id': 2, 'label': 'text', 'score': 0.9730532169342041, 'coordinate': [9.932312, 345.36237, 358.03476, 435.1646]}, {'cls_id': 2, 'label': 'text', 'score': 0.9722575545310974, 'coordinate': [388.91736, 200.93637, 740.00793, 290.80692]}, {'cls_id': 2, 'label': 'text', 'score': 0.9710634350776672, 'coordinate': [389.39496, 1040.3186, 740.0091, 1129.7168]}, {'cls_id': 2, 'label': 'text', 'score': 0.9696939587593079, 'coordinate': [9.6145935, 658.1123, 359.06088, 770.0288]}, {'cls_id': 2, 'label': 'text', 'score': 0.9664148092269897, 'coordinate': [770.235, 1280.4562, 1122.0927, 1346.4742]}, {'cls_id': 2, 'label': 'text', 'score': 0.9597565531730652, 'coordinate': [389.66678, 537.5609, 740.06274, 603.17725]}, {'cls_id': 2, 'label': 'text', 'score': 0.9594324827194214, 'coordinate': [10.162949, 776.86414, 359.08307, 842.1771]}, {'cls_id': 2, 'label': 'text', 'score': 0.9484634399414062, 'coordinate': [10.402863, 1304.7743, 358.9441, 1346.3749]}, {'cls_id': 0, 'label': 'paragraph_title', 'score': 0.9476125240325928, 'coordinate': [28.159409, 456.7627, 339.5631, 514.9665]}, {'cls_id': 0, 'label': 'paragraph_title', 'score': 0.9427680969238281, 'coordinate': [790.6992, 1200.3663, 1102.3799, 1259.1647]}, {'cls_id': 0, 'label': 'paragraph_title', 'score': 0.9424256682395935, 'coordinate': [409.02832, 456.6831, 718.8154, 515.5757]}, {'cls_id': 10, 'label': 'doc_title', 'score': 0.9376171827316284, 'coordinate': [133.77905, 36.884415, 1379.6667, 123.46867]}, {'cls_id': 2, 'label': 'text', 'score': 0.9020254015922546, 'coordinate': [584.9165, 159.1416, 927.22876, 179.01605]}, {'cls_id': 2, 'label': 'text', 'score': 0.895164430141449, 'coordinate': [1154.3364, 776.74646, 1331.8564, 794.2301]}, {'cls_id': 6, 'label': 'figure_title', 'score': 0.7892374992370605, 'coordinate': [808.9641, 704.2555, 1484.0623, 747.2296]}]}, 'overall_ocr_res': {'input_path': None, 'page_index': None, 'model_settings': {'use_doc_preprocessor': False, 'use_textline_orientation': False}, 'dt_polys': array([[[ 129, 42],
+ ...,
+ [ 129, 140]],
+
+ ...,
+
+ [[1156, 1330],
+ ...,
+ [1156, 1351]]], dtype=int16), 'text_det_params': {'limit_side_len': 736, 'limit_type': 'min', 'thresh': 0.3, 'max_side_limit': 4000, 'box_thresh': 0.6, 'unclip_ratio': 1.5}, 'text_type': 'general', 'textline_orientation_angles': array([-1, ..., -1]), 'text_rec_score_thresh': 0.0, 'return_word_box': False, 'rec_texts': ['助力双方交往', '搭建友谊桥梁', '本报记者沈小晓', '任', '彦', '黄培昭', '身着中国传统民族服装的厄立特里亚青', '厄立特里亚高等教育与研究院合作建立，开', '年依次登台表演中国民族舞、现代舞、扇子舞', '设了中国语言课程和中国文化课程，注册学', '等，曼妙的舞姿赢得现场观众阵阵掌声。这', '生2万余人次。10余年来，厄特孔院已成为', '是日前危立特里亚高等教育与研究院孔子学', '当地民众了解中国的一扇窗口。', '院(以下简称“厄特孔院")举办“喜迎新年"中国', '黄鸣飞表示，随着来学习中文的人日益', '歌舞比赛的场景。', '增多，阿斯马拉大学教学点已难以满足教学', '中国和厄立特里亚传统友谊深厚。近年', '需要。2024年4月，由中企蜀道集团所属四', '来，在高质量共建“一带一路”框架下，中厄两', '川路桥承建的孔院教学楼项目在阿斯马拉开', '国人文交流不断深化，互利合作的民意基础', '工建设，预计今年上半年竣工，建成后将为危', '日益深厚。', '特孔院提供全新的办学场地。', '“学好中文，我们的', '“在中国学习的经历', '未来不是梦”', '让我看到更广阔的世界”', '“鲜花曾告诉我你怎样走过，大地知道你', '多年来，厄立特里亚广大赴华留学生和', '心中的每一个角落……"厄立特里亚阿斯马拉', '培训人员积极投身国家建设，成为助力该国', '大学综合楼二层，一阵优美的歌声在走廊里回', '发展的人才和厄中友好的见证者和推动者。', '响。循着熟悉的旋律轻轻推开一间教室的门，', '在厄立特里亚全国妇女联盟工作的约翰', '学生们正跟着老师学唱中文歌曲《同一首歌》。', '娜·特韦尔德·凯莱塔就是其中一位。她曾在', '这是厄特孔院阿斯马拉大学教学点的一', '中华女子学院攻读硕士学位，研究方向是女', '节中文歌曲课。为了让学生们更好地理解歌', '性领导力与社会发展。其间，她实地走访中国', '词大意，老师尤斯拉·穆罕默德萨尔·侯赛因逐', '多个地区，获得了观察中国社会发展的第一', '在厄立特里亚不久前举办的第六届中国风筝文化节上，当地小学生体验风筝制作。', '字翻译和解释歌词。随着伴奏声响起，学生们', '手资料。', '中国驻厄立特里亚大使馆供图', '边唱边随着节拍摇动身体，现场气氛热烈。', '谈起在中国求学的经历，约翰娜记忆犹', '“这是中文歌曲初级班，共有32人。学', '新：“中国的发展在当今世界是独一无二的。', '“不管远近都是客人，请不用客气；相约', '瓦的北红海省博物馆。', '生大部分来自首都阿斯马拉的中小学，年龄', '沿着中国特色社会主义道路坚定前行，中国', '好了在一起，我们欢迎你……”在一场中厄青', '博物馆二层陈列着一个发掘自阿杜利', '最小的仅有6岁。”尤斯拉告诉记者。', '创造了发展奇迹，这一切都离不开中国共产党', '年联谊活动上，四川路桥中方员工同当地大', '斯古城的中国古代陶制酒器，罐身上写着', '尤斯拉今年23岁，是厄立特里亚一所公立', '的领导。中国的发展经验值得许多国家学习', '学生合唱《北京欢迎你》。厄立特里亚技术学', '“万”“和”“禅”“山”等汉字。“这件文物证', '学校的艺术老师。她12岁开始在厄特孔院学', '借鉴。”', '院计算机科学与工程专业学生鲁夫塔·谢拉', '明，很早以前我们就通过海上丝绸之路进行', '习中文，在2017年第十届“汉语桥"世界中学生', '正在西南大学学习的厄立特里亚博士生', '是其中一名演唱者，她很早便在孔院学习中', '贸易往来与文化交流。这也是厄立特里亚', '中文比赛中获得厄立特里亚赛区第一名，并和', '穆卢盖塔·泽穆伊对中国怀有深厚感情。8', '文，一直在为去中国留学作准备。“这句歌词', '与中国友好交往历史的有力证明。”北红海', '同伴代表厄立特里亚前往中国参加决赛，获得', '年前，在北京师范大学获得硕士学位后，穆卢', '是我们两国人民友谊的生动写照。无论是投', '省博物馆研究与文献部负责人伊萨亚斯·特', '团体优胜奖。2022年起，尤斯拉开始在厄特孔', '盖塔在社交媒体上写下这样一段话：“这是我', '身于厄立特里亚基础设施建设的中企员工，', '斯法兹吉说。', '院兼职教授中文歌曲，每周末两个课时。“中国', '人生的重要一步，自此我拥有了一双坚固的', '还是在中国留学的厄立特里亚学子，两国人', '厄立特里亚国家博物馆考古学和人类学', '文化博大精深，我希望我的学生们能够通过中', '鞋子，赋予我穿越荆棘的力量。”', '民携手努力，必将推动两国关系不断向前发', '研究员菲尔蒙·特韦尔德十分喜爱中国文', '文歌曲更好地理解中国文化。”她说。', '穆卢盖塔密切关注中国在经济、科技、教', '展。”鲁夫塔说。', '化。他表示：“学习彼此的语言和文化，将帮', '“姐姐，你想去中国吗?”“非常想！我想', '育等领域的发展，“中国在科研等方面的实力', '厄立特里亚高等教育委员会主任助理萨', '助厄中两国人民更好地理解彼此，助力双方', '去看故宫、爬长城。”尤斯拉的学生中有一对', '与日俱增。在中国学习的经历让我看到更广', '马瑞表示：“每年我们都会组织学生到中国访', '交往，搭建友谊桥梁。”', '能歌善舞的姐妹，姐姐露娅今年15岁，妹妹', '阔的世界，从中受益匪浅。”', '问学习，自前有超过5000名厄立特里亚学生', '厄立特里亚国家博物馆馆长塔吉丁·努', '莉娅14岁，两人都已在厄特孔院学习多年，', '23岁的莉迪亚·埃斯蒂法诺斯已在厄特', '在中国留学。学习中国的教育经验，有助于', '重达姆·优素福曾多次访问中国，对中华文明', '中文说得格外流利。', '孔院学习3年，在中国书法、中国画等方面表', '提升厄立特里亚的教育水平。”', '的传承与创新、现代化博物馆的建设与发展', '露娅对记者说：“这些年来，怀着对中文', '现干分优秀，在2024年厄立特里亚赛区的', '印象深刻。“中国博物馆不仅有许多保存完好', '“共同向世界展示非', '和中国文化的热爱，我们姐妹俩始终相互鼓', '“汉语桥”比赛中获得一等奖。莉迪亚说：“学', '的文物，还充分运用先进科技手段进行展示，', '励，一起学习。我们的中文一天比一天好，还', '习中国书法让我的内心变得安宁和纯粹。我', '洲和亚洲的灿烂文明”', '帮助人们更好理解中华文明。”塔吉丁说，“危', '学会了中文歌和中国舞。我们一定要到中国', '也喜欢中国的服饰，希望未来能去中国学习，', '立特里亚与中国都拥有悠久的文明，始终相', '去。学好中文，我们的未来不是梦！”', '把中国不同民族元素融入服装设计中，创作', '从阿斯马拉出发，沿着蜿蜒曲折的盘山', '互理解、相互尊重。我希望未来与中国同行', '据厄特孔院中方院长黄鸣飞介绍，这所', '出更多精美作品，也把厄特文化分享给更多', '公路一路向东寻找丝路印迹。驱车两个小', '加强合作，共同向世界展示非洲和亚洲的灿', '孔院成立于2013年3月，由贵州财经大学和', '的中国朋友。”', '时，记者来到位于厄立特里亚港口城市马萨', '烂文明。”'], 'rec_scores': array([0.99113536, ..., 0.95110023]), 'rec_polys': array([[[ 129, 42],
+ ...,
+ [ 129, 140]],
+
+ ...,
+
+ [[1156, 1330],
+ ...,
+ [1156, 1351]]], dtype=int16), 'rec_boxes': array([[ 129, ..., 140],
+ ...,
+ [1156, ..., 1351]], dtype=int16)}}}
+（1）实例化 create_pipeline 实例化产线对象，具体参数说明如下：
+
+| 参数 | +参数说明 | +参数类型 | +默认值 | +|
|---|---|---|---|---|
pipeline |
+产线名称或是产线配置文件路径。如为产线名称，则必须为 PaddleX 所支持的产线。 | +str |
+None |
+|
config |
+产线配置文件路径。 | +str |
+None |
+|
device |
+产线推理设备。支持指定GPU具体卡号，如“gpu:0”，其他硬件具体卡号，如“npu:0”，CPU如“cpu”。支持同时指定多个设备以进行并行推理，详情请参考产线并行推理文档。 | +str |
+gpu:0 |
+|
use_hpip |
+是否启用高性能推理插件。如果为 None，则使用配置文件或 config 中的配置。 |
+bool | None |
+无 | +None |
+
hpi_config |
+高性能推理配置 | +dict | None |
+无 | +None |
+
（2）调用版面解析产线对象的 predict() 方法进行推理预测。该方法将返回一个 generator。以下是 predict() 方法的参数及其说明：
+
+| 参数 | +参数说明 | +参数类型 | +可选项 | +默认值 | +
|---|---|---|---|---|
input |
+待预测数据，支持多种输入类型，必填 | +Python Var|str|list |
+
+
|
+None |
+
use_doc_orientation_classify |
+是否使用文档方向分类模块 | +bool|None |
+
+
|
+None |
+
use_doc_unwarping |
+是否使用文档扭曲矫正模块 | +bool|None |
+
+
|
+None |
+
use_layout_detection |
+是否使用版面检测模块 | +bool|None |
+
+
|
+None |
+
use_chart_recognition |
+是否使用图表识别功能 | +bool|None |
+
+
|
+None |
+
layout_threshold |
+版面模型得分阈值 | +float|dict|None |
+
+
|
+None |
+
layout_nms |
+版面区域检测模型是否使用NMS后处理 | +bool|None |
+
+
|
+None |
+
layout_unclip_ratio |
+版面区域检测模型检测框的扩张系数 | +float|Tuple[float,float]|dict|None |
+
+
|
+None |
+
layout_merge_bboxes_mode |
+版面区域检测的重叠框过滤方式 | +str|dict|None |
+
+
|
+None |
+
use_queues |
+用于控制是否启用内部队列。当设置为 True 时，数据加载（如将 PDF 页面渲染为图像）、版面检测模型处理以及 VLM 推理将分别在独立线程中异步执行，通过队列传递数据，从而提升效率。对于页数较多的 PDF 文档，或是包含大量图像或 PDF 文件的目录，这种方式尤其高效。 |
+bool|None |
+
+
|
+None |
+
prompt_label |
+VL模型的prompt类型设置，当且仅当 use_layout_detection=Fasle 时生效 |
+str|None |
+
+
|
+None |
+
format_block_content |
+控制是否将 block_content 中的内容格式化为Markdown格式 |
+bool|None |
+
+
|
+|
repetition_penalty |
+VL模型采样使用的重复惩罚参数 | +float|None |
+
+
|
+None |
+
temperature |
+VL模型采样使用的温度参数 | +float|None |
+
+
|
+None |
+
top_p |
+VL模型采样使用的top-p参数 | +float|None |
+
+
|
+None |
+
min_pixels |
+VL模型预处理图像时允许的最小像素数 | +int|None |
+
+
|
+None |
+
max_pixels |
+VL模型预处理图像时允许的最大像素数 | +int|None |
+
+
|
+None |
+
（3）对预测结果进行处理：每个样本的预测结果均为对应的Result对象，且支持打印、保存为图片、保存为json文件的操作:
+
+| 方法 | +方法说明 | +参数 | +参数类型 | +参数说明 | +默认值 | +
|---|---|---|---|---|---|
print() |
+打印结果到终端 | +format_json |
+bool |
+是否对输出内容进行使用 JSON 缩进格式化 |
+True |
+
indent |
+int |
+指定缩进级别，以美化输出的 JSON 数据，使其更具可读性，仅当 format_json 为 True 时有效 |
+4 | +||
ensure_ascii |
+bool |
+控制是否将非 ASCII 字符转义为 Unicode。设置为 True 时，所有非 ASCII 字符将被转义；False 则保留原始字符，仅当format_json为True时有效 |
+False |
+||
save_to_json() |
+将结果保存为json格式的文件 | +save_path |
+str |
+保存的文件路径，当为目录时，保存文件命名与输入文件类型命名一致 | +无 | +
indent |
+int |
+指定缩进级别，以美化输出的 JSON 数据，使其更具可读性，仅当 format_json 为 True 时有效 |
+4 | +||
ensure_ascii |
+bool |
+控制是否将非 ASCII 字符转义为 Unicode。设置为 True 时，所有非 ASCII 字符将被转义；False 则保留原始字符，仅当format_json为True时有效 |
+False |
+||
save_to_img() |
+将中间各个模块的可视化图像保存在png格式的图像 | +save_path |
+str |
+保存的文件路径，支持目录或文件路径 | +无 | +
save_to_markdown() |
+将图像或者PDF文件中的每一页分别保存为markdown格式的文件 | +save_path |
+str |
+保存的文件路径，支持目录或文件路径 | +无 | +
save_to_html() |
+将文件中的表格保存为html格式的文件 | +save_path |
+str |
+保存的文件路径，支持目录或文件路径 | +无 | +
save_to_xlsx() |
+将文件中的表格保存为xlsx格式的文件 | +save_path |
+str |
+保存的文件路径，支持目录或文件路径 | +无 | +
concatenate_markdown_pages() |
+将多页Markdown内容拼接为单一文档 | +markdown_list |
+list |
+包含每一页Markdown数据的列表 | +返回处理后的Markdown文本和图像列表 | +
| 属性 | +属性说明 | +
|---|---|
json |
+获取预测的 json 格式的结果 |
+
img |
+获取格式为 dict 的可视化图像 |
+
markdown |
+获取格式为 dict 的 markdown 结果 |
+
API参考
+对于服务提供的主要操作：
+-
+
- HTTP请求方法为POST。 +
- 请求体和响应体均为JSON数据（JSON对象）。 +
- 当请求处理成功时，响应状态码为
200，响应体的属性如下：
+
| 名称 | +类型 | +含义 | +
|---|---|---|
logId |
+string |
+请求的UUID。 | +
errorCode |
+integer |
+错误码。固定为0。 |
+
errorMsg |
+string |
+错误说明。固定为"Success"。 |
+
result |
+object |
+操作结果。 | +
-
+
- 当请求处理未成功时，响应体的属性如下： +
| 名称 | +类型 | +含义 | +
|---|---|---|
logId |
+string |
+请求的UUID。 | +
errorCode |
+integer |
+错误码。与响应状态码相同。 | +
errorMsg |
+string |
+错误说明。 | +
服务提供的主要操作如下：
+-
+
infer
+
进行版面解析。
+POST /layout-parsing
-
+
- 请求体的属性如下： +
| 名称 | +类型 | +含义 | +是否必填 | +
|---|---|---|---|
file |
+string |
+服务器可访问的图像文件或PDF文件的URL，或上述类型文件内容的Base64编码结果。默认对于超过10页的PDF文件，只有前10页的内容会被处理。 要解除页数限制，请在产线配置文件中添加以下配置： + |
+是 | +
fileType |
+integer｜null |
+文件类型。0表示PDF文件，1表示图像文件。若请求体无此属性，则将根据URL推断文件类型。 |
+否 | +
useDocOrientationClassify |
+boolean | null |
+请参阅产线对象中 predict 方法的 use_doc_orientation_classify 参数相关说明。 |
+否 | +
useDocUnwarping |
+boolean | null |
+请参阅产线对象中 predict 方法的 use_doc_unwarping 参数相关说明。 |
+否 | +
useLayoutDetection |
+boolean | null |
+请参阅产线对象中 predict 方法的 use_layout_detection 参数相关说明。 |
+否 | +
useChartRecognition |
+boolean | null |
+请参阅产线对象中 predict 方法的 use_chart_recognition 参数相关说明。 |
+否 | +
layoutThreshold |
+number | object | null |
+请参阅产线对象中 predict 方法的 layout_threshold 参数相关说明。 |
+否 | +
layoutNms |
+boolean | null |
+请参阅产线对象中 predict 方法的 layout_nms 参数相关说明。 |
+否 | +
layoutUnclipRatio |
+number | array | object | null |
+请参阅产线对象中 predict 方法的 layout_unclip_ratio 参数相关说明。 |
+否 | +
layoutMergeBboxesMode |
+string | object | null |
+请参阅产线对象中 predict 方法的 layout_merge_bboxes_mode 参数相关说明。 |
+否 | +
promptLabel |
+string | object | null |
+请参阅产线对象中 predict 方法的 prompt_label 参数相关说明。 |
+否 | +
formatBlockContent |
+boolean | null |
+请参阅产线对象中 predict 方法的 format_block_content 参数相关说明。 |
+否 | +
repetitionPenalty |
+number | null |
+请参阅产线对象中 predict 方法的 repetition_penalty 参数相关说明。 |
+否 | +
temperature |
+number | null |
+请参阅产线对象中 predict 方法的 temperature 参数相关说明。 |
+否 | +
topP |
+number | null |
+请参阅产线对象中 predict 方法的 top_p 参数相关说明。 |
+否 | +
minPixels |
+number | null |
+请参阅产线对象中 predict 方法的 min_pixels 参数相关说明。 |
+否 | +
maxPixels |
+number | null |
+请参阅产线对象中 predict 方法的 max_pixels 参数相关说明。 |
+否 | +
prettifyMarkdown |
+boolean |
+是否输出美化后的 Markdown 文本。默认为 true。 |
+否 | +
showFormulaNumber |
+boolean |
+输出的 Markdown 文本中是否包含公式编号。默认为 false。 |
+否 | +
visualize |
+boolean | null |
+是否返回可视化结果图以及处理过程中的中间图像等。
+
例如，在产线配置文件中添加如下字段： + visualize参数可以覆盖默认行为。如果请求体和配置文件中均未设置（或请求体传入null、配置文件中未设置），则默认返回图像。
+ |
+否 | +
-
+
- 请求处理成功时，响应体的
result具有如下属性：
+
| 名称 | +类型 | +含义 | +
|---|---|---|
layoutParsingResults |
+array |
+版面解析结果。数组长度为1（对于图像输入）或实际处理的文档页数（对于PDF输入）。对于PDF输入，数组中的每个元素依次表示PDF文件中实际处理的每一页的结果。 | +
dataInfo |
+object |
+输入数据信息。 | +
layoutParsingResults中的每个元素为一个object，具有如下属性：
| 名称 | +类型 | +含义 | +
|---|---|---|
prunedResult |
+object |
+产线对象的 predict 方法生成结果的 JSON 表示中 res 字段的简化版本，其中去除了 input_path 和 page_index 字段。 |
+
markdown |
+object |
+Markdown结果。 | +
outputImages |
+object | null |
+参见产线预测结果的 img 属性说明。图像为JPEG格式，使用Base64编码。 |
+
inputImage |
+string | null |
+输入图像。图像为JPEG格式，使用Base64编码。 | +
markdown为一个object，具有如下属性：
| 名称 | +类型 | +含义 | +
|---|---|---|
text |
+string |
+Markdown文本。 | +
images |
+object |
+Markdown图片相对路径和Base64编码图像的键值对。 | +
isStart |
+boolean |
+当前页面第一个元素是否为段开始。 | +
isEnd |
+boolean |
+当前页面最后一个元素是否为段结束。 | +
多语言调用服务示例
+
+
+
+Python
+ +
+import base64
+import requests
+import pathlib
+
+API_URL = "http://localhost:8080/layout-parsing" # 服务URL
+
+image_path = "./demo.jpg"
+
+# 对本地图像进行Base64编码
+with open(image_path, "rb") as file:
+ image_bytes = file.read()
+ image_data = base64.b64encode(image_bytes).decode("ascii")
+
+payload = {
+ "file": image_data, # Base64编码的文件内容或者文件URL
+ "fileType": 1, # 文件类型，1表示图像文件
+}
+
+# 调用API
+response = requests.post(API_URL, json=payload)
+
+# 处理接口返回数据
+assert response.status_code == 200
+result = response.json()["result"]
+for i, res in enumerate(result["layoutParsingResults"]):
+ print(res["prunedResult"])
+ md_dir = pathlib.Path(f"markdown_{i}")
+ md_dir.mkdir(exist_ok=True)
+ (md_dir / "doc.md").write_text(res["markdown"]["text"])
+ for img_path, img in res["markdown"]["images"].items():
+ img_path = md_dir / img_path
+ img_path.parent.mkdir(parents=True, exist_ok=True)
+ img_path.write_bytes(base64.b64decode(img))
+ print(f"Markdown document saved at {md_dir / 'doc.md'}")
+ for img_name, img in res["outputImages"].items():
+ img_path = f"{img_name}_{i}.jpg"
+ pathlib.Path(img_path).parent.mkdir(exist_ok=True)
+ with open(img_path, "wb") as f:
+ f.write(base64.b64decode(img))
+ print(f"Output image saved at {img_path}")
+C++
+ +#include <iostream>
+#include <filesystem>
+#include <fstream>
+#include <vector>
+#include <string>
+#include "cpp-httplib/httplib.h" // https://github.com/Huiyicc/cpp-httplib
+#include "nlohmann/json.hpp" // https://github.com/nlohmann/json
+#include "base64.hpp" // https://github.com/tobiaslocker/base64
+
+namespace fs = std::filesystem;
+
+int main() {
+ httplib::Client client("localhost", 8080);
+
+ const std::string filePath = "./demo.jpg";
+
+ std::ifstream file(filePath, std::ios::binary | std::ios::ate);
+ if (!file) {
+ std::cerr << "Error opening file: " << filePath << std::endl;
+ return 1;
+ }
+
+ std::streamsize size = file.tellg();
+ file.seekg(0, std::ios::beg);
+ std::vector buffer(size);
+ if (!file.read(buffer.data(), size)) {
+ std::cerr << "Error reading file." << std::endl;
+ return 1;
+ }
+
+ std::string bufferStr(buffer.data(), static_cast(size));
+ std::string encodedFile = base64::to_base64(bufferStr);
+
+ nlohmann::json jsonObj;
+ jsonObj["file"] = encodedFile;
+ jsonObj["fileType"] = 1;
+
+ auto response = client.Post("/layout-parsing", jsonObj.dump(), "application/json");
+
+ if (response && response->status == 200) {
+ nlohmann::json jsonResponse = nlohmann::json::parse(response->body);
+ auto result = jsonResponse["result"];
+
+ if (!result.is_object() || !result.contains("layoutParsingResults")) {
+ std::cerr << "Unexpected response format." << std::endl;
+ return 1;
+ }
+
+ const auto& results = result["layoutParsingResults"];
+ for (size_t i = 0; i < results.size(); ++i) {
+ const auto& res = results[i];
+
+ if (res.contains("prunedResult")) {
+ std::cout << "Layout result [" << i << "]: " << res["prunedResult"].dump() << std::endl;
+ }
+
+ if (res.contains("outputImages") && res["outputImages"].is_object()) {
+ for (auto& [imgName, imgBase64] : res["outputImages"].items()) {
+ std::string outputPath = imgName + "_" + std::to_string(i) + ".jpg";
+ fs::path pathObj(outputPath);
+ fs::path parentDir = pathObj.parent_path();
+ if (!parentDir.empty() && !fs::exists(parentDir)) {
+ fs::create_directories(parentDir);
+ }
+
+ std::string decodedImage = base64::from_base64(imgBase64.get());
+
+ std::ofstream outFile(outputPath, std::ios::binary);
+ if (outFile.is_open()) {
+ outFile.write(decodedImage.c_str(), decodedImage.size());
+ outFile.close();
+ std::cout << "Saved image: " << outputPath << std::endl;
+ } else {
+ std::cerr << "Failed to save image: " << outputPath << std::endl;
+ }
+ }
+ }
+ }
+ } else {
+ std::cerr << "Request failed." << std::endl;
+ if (response) {
+ std::cerr << "HTTP status: " << response->status << std::endl;
+ std::cerr << "Response body: " << response->body << std::endl;
+ }
+ return 1;
+ }
+
+ return 0;
+}
+ Java
+ +import okhttp3.*;
+import com.fasterxml.jackson.databind.ObjectMapper;
+import com.fasterxml.jackson.databind.JsonNode;
+import com.fasterxml.jackson.databind.node.ObjectNode;
+
+import java.io.File;
+import java.io.FileOutputStream;
+import java.io.IOException;
+import java.util.Base64;
+import java.nio.file.Paths;
+import java.nio.file.Files;
+
+public class Main {
+ public static void main(String[] args) throws IOException {
+ String API_URL = "http://localhost:8080/layout-parsing";
+ String imagePath = "./demo.jpg";
+
+ File file = new File(imagePath);
+ byte[] fileContent = java.nio.file.Files.readAllBytes(file.toPath());
+ String base64Image = Base64.getEncoder().encodeToString(fileContent);
+
+ ObjectMapper objectMapper = new ObjectMapper();
+ ObjectNode payload = objectMapper.createObjectNode();
+ payload.put("file", base64Image);
+ payload.put("fileType", 1);
+
+ OkHttpClient client = new OkHttpClient();
+ MediaType JSON = MediaType.get("application/json; charset=utf-8");
+
+ RequestBody body = RequestBody.create(JSON, payload.toString());
+
+ Request request = new Request.Builder()
+ .url(API_URL)
+ .post(body)
+ .build();
+
+ try (Response response = client.newCall(request).execute()) {
+ if (response.isSuccessful()) {
+ String responseBody = response.body().string();
+ JsonNode root = objectMapper.readTree(responseBody);
+ JsonNode result = root.get("result");
+
+ JsonNode layoutParsingResults = result.get("layoutParsingResults");
+ for (int i = 0; i < layoutParsingResults.size(); i++) {
+ JsonNode item = layoutParsingResults.get(i);
+ int finalI = i;
+ JsonNode prunedResult = item.get("prunedResult");
+ System.out.println("Pruned Result [" + i + "]: " + prunedResult.toString());
+
+ JsonNode outputImages = item.get("outputImages");
+ outputImages.fieldNames().forEachRemaining(imgName -> {
+ try {
+ String imgBase64 = outputImages.get(imgName).asText();
+ byte[] imgBytes = Base64.getDecoder().decode(imgBase64);
+ String imgPath = imgName + "_" + finalI + ".jpg";
+
+ File outputFile = new File(imgPath);
+ File parentDir = outputFile.getParentFile();
+ if (parentDir != null && !parentDir.exists()) {
+ parentDir.mkdirs();
+ System.out.println("Created directory: " + parentDir.getAbsolutePath());
+ }
+
+ try (FileOutputStream fos = new FileOutputStream(outputFile)) {
+ fos.write(imgBytes);
+ System.out.println("Saved image: " + imgPath);
+ }
+ } catch (IOException e) {
+ System.err.println("Failed to save image: " + e.getMessage());
+ }
+ });
+ }
+ } else {
+ System.err.println("Request failed with HTTP code: " + response.code());
+ }
+ }
+ }
+}
+Go
+ +package main
+
+import (
+ "bytes"
+ "encoding/base64"
+ "encoding/json"
+ "fmt"
+ "io/ioutil"
+ "net/http"
+ "os"
+ "path/filepath"
+)
+
+func main() {
+ API_URL := "http://localhost:8080/layout-parsing"
+ filePath := "./demo.jpg"
+
+ fileBytes, err := ioutil.ReadFile(filePath)
+ if err != nil {
+ fmt.Printf("Error reading file: %v\n", err)
+ return
+ }
+ fileData := base64.StdEncoding.EncodeToString(fileBytes)
+
+ payload := map[string]interface{}{
+ "file": fileData,
+ "fileType": 1,
+ }
+ payloadBytes, err := json.Marshal(payload)
+ if err != nil {
+ fmt.Printf("Error marshaling payload: %v\n", err)
+ return
+ }
+
+ client := &http.Client{}
+ req, err := http.NewRequest("POST", API_URL, bytes.NewBuffer(payloadBytes))
+ if err != nil {
+ fmt.Printf("Error creating request: %v\n", err)
+ return
+ }
+ req.Header.Set("Content-Type", "application/json")
+
+ res, err := client.Do(req)
+ if err != nil {
+ fmt.Printf("Error sending request: %v\n", err)
+ return
+ }
+ defer res.Body.Close()
+
+ if res.StatusCode != http.StatusOK {
+ fmt.Printf("Unexpected status code: %d\n", res.StatusCode)
+ return
+ }
+
+ body, err := ioutil.ReadAll(res.Body)
+ if err != nil {
+ fmt.Printf("Error reading response: %v\n", err)
+ return
+ }
+
+ type Markdown struct {
+ Text string `json:"text"`
+ Images map[string]string `json:"images"`
+ }
+
+ type LayoutResult struct {
+ PrunedResult map[string]interface{} `json:"prunedResult"`
+ Markdown Markdown `json:"markdown"`
+ OutputImages map[string]string `json:"outputImages"`
+ InputImage *string `json:"inputImage"`
+ }
+
+ type Response struct {
+ Result struct {
+ LayoutParsingResults []LayoutResult `json:"layoutParsingResults"`
+ DataInfo interface{} `json:"dataInfo"`
+ } `json:"result"`
+ }
+
+ var respData Response
+ if err := json.Unmarshal(body, &respData); err != nil {
+ fmt.Printf("Error parsing response: %v\n", err)
+ return
+ }
+
+ for i, res := range respData.Result.LayoutParsingResults {
+ fmt.Printf("Result %d - prunedResult: %+v\n", i, res.PrunedResult)
+
+ mdDir := fmt.Sprintf("markdown_%d", i)
+ os.MkdirAll(mdDir, 0755)
+ mdFile := filepath.Join(mdDir, "doc.md")
+ if err := os.WriteFile(mdFile, []byte(res.Markdown.Text), 0644); err != nil {
+ fmt.Printf("Error writing markdown file: %v\n", err)
+ } else {
+ fmt.Printf("Markdown document saved at %s\n", mdFile)
+ }
+
+ for path, imgBase64 := range res.Markdown.Images {
+ fullPath := filepath.Join(mdDir, path)
+ if err := os.MkdirAll(filepath.Dir(fullPath), 0755); err != nil {
+ fmt.Printf("Error creating directory for markdown image: %v\n", err)
+ continue
+ }
+ imgBytes, err := base64.StdEncoding.DecodeString(imgBase64)
+ if err != nil {
+ fmt.Printf("Error decoding markdown image: %v\n", err)
+ continue
+ }
+ if err := os.WriteFile(fullPath, imgBytes, 0644); err != nil {
+ fmt.Printf("Error saving markdown image: %v\n", err)
+ }
+ }
+
+ for name, imgBase64 := range res.OutputImages {
+ imgBytes, err := base64.StdEncoding.DecodeString(imgBase64)
+ if err != nil {
+ fmt.Printf("Error decoding output image %s: %v\n", name, err)
+ continue
+ }
+ filename := fmt.Sprintf("%s_%d.jpg", name, i)
+
+ if err := os.MkdirAll(filepath.Dir(filename), 0755); err != nil {
+ fmt.Printf("Error creating directory for output image: %v\n", err)
+ continue
+ }
+
+ if err := os.WriteFile(filename, imgBytes, 0644); err != nil {
+ fmt.Printf("Error saving output image %s: %v\n", filename, err)
+ } else {
+ fmt.Printf("Output image saved at %s\n", filename)
+ }
+ }
+ }
+}
+C#
+ +using System;
+using System.IO;
+using System.Net.Http;
+using System.Text;
+using System.Threading.Tasks;
+using Newtonsoft.Json.Linq;
+
+class Program
+{
+ static readonly string API_URL = "http://localhost:8080/layout-parsing";
+ static readonly string inputFilePath = "./demo.jpg";
+
+ static async Task Main(string[] args)
+ {
+ var httpClient = new HttpClient();
+
+ byte[] fileBytes = File.ReadAllBytes(inputFilePath);
+ string fileData = Convert.ToBase64String(fileBytes);
+
+ var payload = new JObject
+ {
+ { "file", fileData },
+ { "fileType", 1 }
+ };
+ var content = new StringContent(payload.ToString(), Encoding.UTF8, "application/json");
+
+ HttpResponseMessage response = await httpClient.PostAsync(API_URL, content);
+ response.EnsureSuccessStatusCode();
+
+ string responseBody = await response.Content.ReadAsStringAsync();
+ JObject jsonResponse = JObject.Parse(responseBody);
+
+ JArray layoutParsingResults = (JArray)jsonResponse["result"]["layoutParsingResults"];
+ for (int i = 0; i < layoutParsingResults.Count; i++)
+ {
+ var res = layoutParsingResults[i];
+ Console.WriteLine($"[{i}] prunedResult:\n{res["prunedResult"]}");
+
+ JObject outputImages = res["outputImages"] as JObject;
+ if (outputImages != null)
+ {
+ foreach (var img in outputImages)
+ {
+ string imgName = img.Key;
+ string base64Img = img.Value?.ToString();
+ if (!string.IsNullOrEmpty(base64Img))
+ {
+ string imgPath = $"{imgName}_{i}.jpg";
+ byte[] imageBytes = Convert.FromBase64String(base64Img);
+
+ string directory = Path.GetDirectoryName(imgPath);
+ if (!string.IsNullOrEmpty(directory) && !Directory.Exists(directory))
+ {
+ Directory.CreateDirectory(directory);
+ Console.WriteLine($"Created directory: {directory}");
+ }
+
+ File.WriteAllBytes(imgPath, imageBytes);
+ Console.WriteLine($"Output image saved at {imgPath}");
+ }
+ }
+ }
+ }
+ }
+}
+Node.js
+ +const axios = require('axios');
+const fs = require('fs');
+const path = require('path');
+
+const API_URL = 'http://localhost:8080/layout-parsing';
+const imagePath = './demo.jpg';
+const fileType = 1;
+
+function encodeImageToBase64(filePath) {
+ const bitmap = fs.readFileSync(filePath);
+ return Buffer.from(bitmap).toString('base64');
+}
+
+const payload = {
+ file: encodeImageToBase64(imagePath),
+ fileType: fileType
+};
+
+axios.post(API_URL, payload)
+ .then(response => {
+ const results = response.data.result.layoutParsingResults;
+ results.forEach((res, index) => {
+ console.log(`\n[${index}] prunedResult:`);
+ console.log(res.prunedResult);
+
+ const outputImages = res.outputImages;
+ if (outputImages) {
+ Object.entries(outputImages).forEach(([imgName, base64Img]) => {
+ const imgPath = `${imgName}_${index}.jpg`;
+
+ const directory = path.dirname(imgPath);
+ if (!fs.existsSync(directory)) {
+ fs.mkdirSync(directory, { recursive: true });
+ console.log(`Created directory: ${directory}`);
+ }
+
+ fs.writeFileSync(imgPath, Buffer.from(base64Img, 'base64'));
+ console.log(`Output image saved at ${imgPath}`);
+ });
+ } else {
+ console.log(`[${index}] No outputImages.`);
+ }
+ });
+ })
+ .catch(error => {
+ console.error('Error during API request:', error.message || error);
+ });
+PHP
+ +<?php
+
+$API_URL = "http://localhost:8080/layout-parsing";
+$image_path = "./demo.jpg";
+
+$image_data = base64_encode(file_get_contents($image_path));
+$payload = array("file" => $image_data, "fileType" => 1);
+
+$ch = curl_init($API_URL);
+curl_setopt($ch, CURLOPT_POST, true);
+curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($payload));
+curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/json'));
+curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
+$response = curl_exec($ch);
+curl_close($ch);
+
+$result = json_decode($response, true)["result"]["layoutParsingResults"];
+
+foreach ($result as $i => $item) {
+ echo "[$i] prunedResult:\n";
+ print_r($item["prunedResult"]);
+
+ if (!empty($item["outputImages"])) {
+ foreach ($item["outputImages"] as $img_name => $img_base64) {
+ $output_image_path = "{$img_name}_{$i}.jpg";
+
+ $directory = dirname($output_image_path);
+ if (!is_dir($directory)) {
+ mkdir($directory, 0777, true);
+ echo "Created directory: $directory\n";
+ }
+
+ file_put_contents($output_image_path, base64_decode($img_base64));
+ echo "Output image saved at $output_image_path\n";
+ }
+ } else {
+ echo "No outputImages found for item $i\n";
+ }
+}
+?>
++ +📱 端侧部署：端侧部署是一种将计算和数据处理功能放在用户设备本身上的方式，设备可以直接处理数据，而不需要依赖远程的服务器。PaddleX 支持将模型部署在 Android 等端侧设备上，详细的端侧部署流程请参考[PaddleX端侧部署指南](../../../pipeline_deploy/on_device_deployment.md)。 +您可以根据需要选择合适的方式部署模型产线，进而进行后续的 AI 应用集成。 + +## 5. 二次开发 +如果通用版面解析v3产线提供的默认模型权重在您的场景中，精度或速度不满意，您可以尝试利用您自己拥有的特定领域或应用场景的数据对现有模型进行进一步的微调，以提升通用版面解析v3产线的在您的场景中的识别效果。 + +### 5.1 模型微调 + +由于通用版面解析v3产线包含若干模块，模型产线的效果不及预期可能来自于其中任何一个模块。您可以对提取效果差的 case 进行分析，通过可视化图像，确定是哪个模块存在问题，并参考以下表格中对应的微调教程链接进行模型微调。 + + +
| 情形 | +微调模块 | +微调参考链接 | +
|---|---|---|
| 版面区域检测不准，如印章、表格未检出等 | +版面区域检测模块 | +链接 | +
| 表格结构识别不准 | +表格结构识别模块 | +链接 | +
| 公式识别不准 | +公式识别模块 | +链接 | +
| 印章文本存在漏检 | +印章文本检测模块 | +链接 | +
| 文本存在漏检 | +文本检测模块 | +链接 | +
| 文本内容都不准 | +文本识别模块 | +链接 | +
| 垂直或者旋转文本行矫正不准 | +文本行方向分类模块 | +链接 | +
| 整图旋转矫正不准 | +文档图像方向分类模块 | +链接 | +
| 图像扭曲矫正不准 | +文本图像矫正模块 | +暂不支持微调 | +
| {cell.strip()} | " for cell in header + ) + + "
|---|
| {cell.strip()} | " for cell in row + ) + + "
| ", " | ") + tabel_content = tabel_content.replace(" | ", " | ")
+ return tabel_content
+
+
+def build_handle_funcs_dict(
+ *,
+ text_func,
+ image_func,
+ chart_func,
+ table_func,
+ formula_func,
+ seal_func,
+):
+ """
+ Build a dictionary mapping block labels to their formatting functions.
+
+ Args:
+ text_func: Function to format text blocks.
+ image_func: Function to format image blocks.
+ chart_func: Function to format chart blocks.
+ table_func: Function to format table blocks.
+ formula_func: Function to format formula blocks.
+ seal_func: Function to format seal blocks.
+
+ Returns:
+ dict: A mapping from block label to handler function.
+ """
+ return {
+ "paragraph_title": format_title_func,
+ "abstract_title": format_title_func,
+ "reference_title": format_title_func,
+ "content_title": format_title_func,
+ "doc_title": lambda block: f"# {block.content}".replace("-\n", "").replace(
+ "\n", " "
+ ),
+ "table_title": text_func,
+ "figure_title": text_func,
+ "chart_title": text_func,
+ "vision_footnote": lambda block: block.content.replace("\n\n", "\n").replace(
+ "\n", "\n\n"
+ ),
+ "text": lambda block: block.content.replace("\n\n", "\n").replace("\n", "\n\n"),
+ "ocr": lambda block: block.content.replace("\n\n", "\n").replace("\n", "\n\n"),
+ "vertical_text": lambda block: block.content.replace("\n\n", "\n").replace(
+ "\n", "\n\n"
+ ),
+ "reference_content": lambda block: block.content.replace("\n\n", "\n").replace(
+ "\n", "\n\n"
+ ),
+ "abstract": partial(
+ format_first_line_func,
+ templates=["摘要", "abstract"],
+ format_func=lambda l: f"## {l}\n",
+ spliter=" ",
+ ),
+ "content": lambda block: block.content.replace("-\n", " \n").replace(
+ "\n", " \n"
+ ),
+ "image": image_func,
+ "chart": chart_func,
+ "formula": formula_func,
+ "display_formula": formula_func,
+ "inline_formula": formula_func,
+ "table": table_func,
+ "reference": partial(
+ format_first_line_func,
+ templates=["参考文献", "references"],
+ format_func=lambda l: f"## {l}",
+ spliter="\n",
+ ),
+ "algorithm": lambda block: block.content.strip("\n"),
+ "seal": seal_func,
+ }
+
+
+class PaddleOCRVLResult(BaseCVResult, HtmlMixin, XlsxMixin, MarkdownMixin):
+ """
+ PaddleOCRVLResult class for holding and formatting OCR/VL parsing results.
+ """
+
+ def __init__(self, data) -> None:
+ """
+ Initializes a new instance of the class with the specified data.
+
+ Args:
+ data: The input data for the parsing result.
+ """
+ super().__init__(data)
+ HtmlMixin.__init__(self)
+ XlsxMixin.__init__(self)
+ MarkdownMixin.__init__(self)
+ JsonMixin.__init__(self)
+
+ def _to_img(self) -> dict[str, np.ndarray]:
+ """
+ Convert the parsing result to a dictionary of images.
+
+ Returns:
+ dict: Keys are names, values are numpy arrays (images).
+ """
+ from ..layout_parsing.utils import get_show_color
+
+ res_img_dict = {}
+ model_settings = self["model_settings"]
+ if model_settings["use_doc_preprocessor"]:
+ for key, value in self["doc_preprocessor_res"].img.items():
+ res_img_dict[key] = value
+ if self["model_settings"]["use_layout_detection"]:
+ res_img_dict["layout_det_res"] = self["layout_det_res"].img["res"]
+
+ # for layout ordering image
+ image = Image.fromarray(self["doc_preprocessor_res"]["output_img"][:, :, ::-1])
+ draw = ImageDraw.Draw(image, "RGBA")
+ font_size = int(0.018 * int(image.width)) + 2
+ font = ImageFont.truetype(PINGFANG_FONT.path, font_size, encoding="utf-8")
+ parsing_result = self["parsing_res_list"]
+ order_index = 0
+ for block in parsing_result:
+ bbox = block.bbox
+ label = block.label
+ fill_color = get_show_color(label, False)
+ draw.rectangle(bbox, fill=fill_color)
+ if label in VISUALIZE_INDEX_LABELS:
+ text_position = (bbox[2] + 2, bbox[1] - font_size // 2)
+ if int(image.width) - bbox[2] < font_size:
+ text_position = (
+ int(bbox[2] - font_size * 1.1),
+ bbox[1] - font_size // 2,
+ )
+ draw.text(text_position, str(order_index + 1), font=font, fill="red")
+ order_index += 1
+
+ res_img_dict["layout_order_res"] = image
+
+ return res_img_dict
+
+ def _to_html(self) -> dict[str, str]:
+ """
+ Converts the prediction to its corresponding HTML representation.
+
+ Returns:
+ dict: The str type HTML representation result.
+ """
+ res_html_dict = {}
+ if len(self["table_res_list"]) > 0:
+ for sno in range(len(self["table_res_list"])):
+ table_res = self["table_res_list"][sno]
+ table_region_id = table_res["table_region_id"]
+ key = f"table_{table_region_id}"
+ res_html_dict[key] = table_res.html["pred"]
+ return res_html_dict
+
+ def _to_xlsx(self) -> dict[str, str]:
+ """
+ Converts the prediction HTML to an XLSX file path.
+
+ Returns:
+ dict: The str type XLSX representation result.
+ """
+ res_xlsx_dict = {}
+ if len(self["table_res_list"]) > 0:
+ for sno in range(len(self["table_res_list"])):
+ table_res = self["table_res_list"][sno]
+ table_region_id = table_res["table_region_id"]
+ key = f"table_{table_region_id}"
+ res_xlsx_dict[key] = table_res.xlsx["pred"]
+ return res_xlsx_dict
+
+ def _to_str(self, *args, **kwargs) -> dict[str, str]:
+ """
+ Converts the instance's attributes to a dictionary and then to a string.
+
+ Args:
+ *args: Additional positional arguments passed to the base class method.
+ **kwargs: Additional keyword arguments passed to the base class method.
+
+ Returns:
+ dict: A dictionary with the instance's attributes converted to strings.
+ """
+ data = {}
+ data["input_path"] = self["input_path"]
+ data["page_index"] = self["page_index"]
+ model_settings = self["model_settings"]
+ data["model_settings"] = model_settings
+ if self["model_settings"]["use_doc_preprocessor"]:
+ data["doc_preprocessor_res"] = self["doc_preprocessor_res"].str["res"]
+ if self["model_settings"]["use_layout_detection"]:
+ data["layout_det_res"] = self["layout_det_res"].str["res"]
+ return JsonMixin._to_str(data, *args, **kwargs)
+
+ def _to_json(self, *args, **kwargs) -> dict[str, str]:
+ """
+ Converts the object's data to a JSON dictionary.
+
+ Args:
+ *args: Positional arguments passed to the JsonMixin._to_json method.
+ **kwargs: Keyword arguments passed to the JsonMixin._to_json method.
+
+ Returns:
+ dict: A dictionary containing the object's data in JSON format.
+ """
+ data = {}
+ data["input_path"] = self["input_path"]
+ data["page_index"] = self["page_index"]
+ model_settings = self["model_settings"]
+ data["model_settings"] = model_settings
+ if self["model_settings"].get("format_block_content", False):
+ original_image_width = self["doc_preprocessor_res"]["output_img"].shape[1]
+ format_text_func = lambda block: format_centered_by_html(
+ format_text_plain_func(block)
+ )
+ format_image_func = lambda block: format_centered_by_html(
+ format_image_scaled_by_html_func(
+ block,
+ original_image_width=original_image_width,
+ )
+ )
+
+ if self["model_settings"].get("use_chart_recognition", False):
+ format_chart_func = format_chart2table_func
+ else:
+ format_chart_func = format_image_func
+
+ format_seal_func = format_image_func
+
+ format_table_func = lambda block: "\n" + format_table_center_func(block)
+ format_formula_func = lambda block: block.content
+
+ handle_funcs_dict = build_handle_funcs_dict(
+ text_func=format_text_func,
+ image_func=format_image_func,
+ chart_func=format_chart_func,
+ table_func=format_table_func,
+ formula_func=format_formula_func,
+ seal_func=format_seal_func,
+ )
+
+ parsing_res_list = self["parsing_res_list"]
+ parsing_res_list_json = []
+ order_index = 1
+ for idx, parsing_res in enumerate(parsing_res_list):
+ label = parsing_res.label
+ if label in VISUALIZE_INDEX_LABELS:
+ order = order_index
+ order_index += 1
+ else:
+ order = None
+ res_dict = {
+ "block_label": parsing_res.label,
+ "block_content": parsing_res.content,
+ "block_bbox": parsing_res.bbox,
+ "block_id": idx,
+ "block_order": order,
+ }
+ if self["model_settings"].get("format_block_content", False):
+ if handle_funcs_dict.get(parsing_res.label):
+ res_dict["block_content"] = handle_funcs_dict[parsing_res.label](
+ parsing_res
+ )
+ else:
+ res_dict["block_content"] = parsing_res.content
+
+ parsing_res_list_json.append(res_dict)
+ data["parsing_res_list"] = parsing_res_list_json
+ if self["model_settings"]["use_doc_preprocessor"]:
+ data["doc_preprocessor_res"] = self["doc_preprocessor_res"].json["res"]
+ if self["model_settings"]["use_layout_detection"]:
+ data["layout_det_res"] = self["layout_det_res"].json["res"]
+ return JsonMixin._to_json(data, *args, **kwargs)
+
+ def _to_markdown(self, pretty=True, show_formula_number=False) -> dict:
+ """
+ Save the parsing result to a Markdown file.
+
+ Args:
+ pretty (Optional[bool]): whether to pretty markdown by HTML, default by True.
+ show_formula_number (bool): whether to show formula numbers.
+
+ Returns:
+ dict: Markdown information with text and images.
+ """
+ original_image_width = self["doc_preprocessor_res"]["output_img"].shape[1]
+
+ if pretty:
+ format_text_func = lambda block: format_centered_by_html(
+ format_text_plain_func(block)
+ )
+ format_image_func = lambda block: format_centered_by_html(
+ format_image_scaled_by_html_func(
+ block,
+ original_image_width=original_image_width,
+ )
+ )
+ else:
+ format_text_func = lambda block: block.content
+ format_image_func = format_image_plain_func
+
+ format_chart_func = (
+ format_chart2table_func
+ if self["model_settings"]["use_chart_recognition"]
+ else format_image_func
+ )
+
+ if pretty:
+ format_table_func = lambda block: "\n" + format_table_center_func(block)
+ else:
+ format_table_func = lambda block: simplify_table_func("\n" + block.content)
+
+ format_formula_func = lambda block: block.content
+ format_seal_func = format_image_func
+
+ handle_funcs_dict = build_handle_funcs_dict(
+ text_func=format_text_func,
+ image_func=format_image_func,
+ chart_func=format_chart_func,
+ table_func=format_table_func,
+ formula_func=format_formula_func,
+ seal_func=format_seal_func,
+ )
+
+ markdown_content = ""
+ markdown_info = {}
+ markdown_info["markdown_images"] = {}
+ for idx, block in enumerate(self["parsing_res_list"]):
+ label = block.label
+ if block.image is not None:
+ markdown_info["markdown_images"][block.image["path"]] = block.image[
+ "img"
+ ]
+ handle_func = handle_funcs_dict.get(label, None)
+ if (
+ show_formula_number
+ and (label == "display_formula" or label == "formula")
+ and idx != len(self["parsing_res_list"]) - 1
+ ):
+ next_block = self["parsing_res_list"][idx + 1]
+ next_block_label = next_block.label
+ if next_block_label == "formula_number":
+ block.content = merge_formula_and_number(
+ block.content, next_block.content
+ )
+ if handle_func:
+ markdown_content += (
+ "\n\n" + handle_func(block)
+ if markdown_content
+ else handle_func(block)
+ )
+
+ markdown_info["page_index"] = self["page_index"]
+ markdown_info["input_path"] = self["input_path"]
+ markdown_info["markdown_texts"] = markdown_content
+ for img in self["imgs_in_doc"]:
+ markdown_info["markdown_images"][img["path"]] = img["img"]
+
+ return markdown_info
diff --git a/paddlex/inference/pipelines/paddleocr_vl/uilts.py b/paddlex/inference/pipelines/paddleocr_vl/uilts.py
new file mode 100644
index 0000000000..0f214b94ee
--- /dev/null
+++ b/paddlex/inference/pipelines/paddleocr_vl/uilts.py
@@ -0,0 +1,925 @@
+# Copyright (c) 2024 PaddlePaddle Authors. All Rights Reserved.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+# http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+import html
+import itertools
+import math
+import re
+from collections import Counter
+from copy import deepcopy
+from typing import Any, Dict, List, Tuple
+
+import numpy as np
+from PIL import Image
+from pydantic import BaseModel, computed_field, model_validator
+
+from ..layout_parsing.utils import (
+ calculate_bbox_area,
+ calculate_overlap_ratio,
+ calculate_projection_overlap_ratio,
+)
+
+
+def filter_overlap_boxes(
+ layout_det_res: Dict[str, List[Dict]]
+) -> Dict[str, List[Dict]]:
+ """
+ Remove overlapping boxes from layout detection results based on a given overlap ratio.
+
+ Args:
+ layout_det_res (Dict[str, List[Dict]]): Layout detection result dict containing a 'boxes' list.
+
+ Returns:
+ Dict[str, List[Dict]]: Filtered dict with overlapping boxes removed.
+ """
+ layout_det_res_filtered = deepcopy(layout_det_res)
+ boxes = [
+ box for box in layout_det_res_filtered["boxes"] if box["label"] != "reference"
+ ]
+ dropped_indexes = set()
+
+ for i in range(len(boxes)):
+ for j in range(i + 1, len(boxes)):
+ if i in dropped_indexes or j in dropped_indexes:
+ continue
+ overlap_ratio = calculate_overlap_ratio(
+ boxes[i]["coordinate"], boxes[j]["coordinate"], "small"
+ )
+ if overlap_ratio > 0.7:
+ box_area_i = calculate_bbox_area(boxes[i]["coordinate"])
+ box_area_j = calculate_bbox_area(boxes[j]["coordinate"])
+ if (
+ boxes[i]["label"] == "image" or boxes[j]["label"] == "image"
+ ) and boxes[i]["label"] != boxes[j]["label"]:
+ continue
+ if box_area_i >= box_area_j:
+ dropped_indexes.add(j)
+ else:
+ dropped_indexes.add(i)
+ layout_det_res_filtered["boxes"] = [
+ box for idx, box in enumerate(boxes) if idx not in dropped_indexes
+ ]
+ return layout_det_res_filtered
+
+
+def to_pil_image(img):
+ """
+ Convert the input to a PIL Image.
+
+ Args:
+ img (PIL.Image or numpy.ndarray): Input image.
+
+ Returns:
+ PIL.Image: PIL Image object.
+ """
+ if isinstance(img, Image.Image):
+ return img
+ return Image.fromarray(img)
+
+
+def to_np_array(img):
+ """
+ Convert the input to a numpy array.
+
+ Args:
+ img (PIL.Image or numpy.ndarray): Input image.
+
+ Returns:
+ numpy.ndarray: Numpy array image.
+ """
+ if isinstance(img, Image.Image):
+ return np.array(img)
+ return img
+
+
+def calc_merged_wh(images):
+ """
+ Calculate width (max of all) and height (sum) for a vertical merge of images.
+
+ Args:
+ images (List[PIL.Image or np.ndarray]): List of images.
+
+ Returns:
+ Tuple[int, int]: (width, height) of merged image.
+ """
+ widths = [to_pil_image(img).width for img in images]
+ heights = [to_pil_image(img).height for img in images]
+ w = max(widths)
+ h = sum(heights)
+ return w, h
+
+
+def merge_images(images, aligns="center"):
+ """
+ Merge images vertically with given alignment.
+
+ Args:
+ images (List[PIL.Image or np.ndarray]): List of images to merge.
+ aligns (str or List[str]): Alignment(s) for each merge step ('center', 'right', 'left').
+
+ Returns:
+ np.ndarray: Merged image as numpy array.
+ """
+ if not images:
+ return None
+ if len(images) == 1:
+ return to_np_array(images[0])
+ if isinstance(aligns, str):
+ aligns = [aligns] * (len(images) - 1)
+ if len(aligns) != len(images) - 1:
+ raise ValueError("The length of aligns must be len(images) - 1")
+ merged = to_pil_image(images[0])
+ for i in range(1, len(images)):
+ img2 = to_pil_image(images[i])
+ align = aligns[i - 1]
+ w = max(merged.width, img2.width)
+ h = merged.height + img2.height
+ new_img = Image.new("RGB", (w, h), (255, 255, 255))
+ if align == "center":
+ x1 = (w - merged.width) // 2
+ x2 = (w - img2.width) // 2
+ elif align == "right":
+ x1 = w - merged.width
+ x2 = w - img2.width
+ else: # left
+ x1 = x2 = 0
+ new_img.paste(merged, (x1, 0))
+ new_img.paste(img2, (x2, merged.height))
+ merged = new_img
+ return to_np_array(merged)
+
+
+def merge_blocks(blocks, non_merge_labels):
+ """
+ Merge blocks based on alignment and overlap logic, except for those with labels in non_merge_labels.
+
+ Args:
+ blocks (List[Dict]): List of block dicts.
+ non_merge_labels (List[str]): Block labels that should not be merged.
+
+ Returns:
+ List[Dict]: List of processed (and possibly merged) blocks.
+ """
+ blocks_to_merge = []
+ non_merge_blocks = {}
+ for idx, block in enumerate(blocks):
+ if block["label"] in non_merge_labels:
+ non_merge_blocks[idx] = block
+ else:
+ blocks_to_merge.append((idx, block))
+
+ merged_groups = []
+ current_group = []
+ current_indices = []
+ current_aligns = []
+
+ def is_aligned(a1, a2):
+ return abs(a1 - a2) <= 5
+
+ def get_alignment(block_bbox, prev_bbox):
+ if is_aligned(block_bbox[0], prev_bbox[0]):
+ return "left"
+ elif is_aligned(block_bbox[2], prev_bbox[2]):
+ return "right"
+ else:
+ return "center"
+
+ def overlapwith_other_box(block_idx, prev_idx, blocks):
+ prev_bbox = blocks[prev_idx]["box"]
+ block_bbox = blocks[block_idx]["box"]
+ x1 = min(prev_bbox[0], block_bbox[0])
+ y1 = min(prev_bbox[1], block_bbox[1])
+ x2 = max(prev_bbox[2], block_bbox[2])
+ y2 = max(prev_bbox[3], block_bbox[3])
+ min_box = [x1, y1, x2, y2]
+ for idx, other_block in enumerate(blocks):
+ if idx in [block_idx, prev_idx]:
+ continue
+ other_bbox = other_block["box"]
+ if calculate_overlap_ratio(min_box, other_bbox) > 0:
+ return True
+ return False
+
+ for i, (idx, block) in enumerate(blocks_to_merge):
+ if not current_group:
+ current_group = [block]
+ current_indices = [idx]
+ current_aligns = []
+ continue
+
+ prev_idx, prev_block = blocks_to_merge[i - 1]
+ prev_bbox = prev_block["box"]
+ prev_label = prev_block["label"]
+ block_bbox = block["box"]
+ block_label = block["label"]
+
+ iou_h = calculate_projection_overlap_ratio(block_bbox, prev_bbox, "horizontal")
+ is_cross = (
+ iou_h == 0
+ and block_label == "text"
+ and block_label == prev_label
+ and block_bbox[0] > prev_bbox[2]
+ and block_bbox[1] < prev_bbox[3]
+ and block_bbox[0] - prev_bbox[2]
+ < max(prev_bbox[2] - prev_bbox[0], block_bbox[2] - block_bbox[0]) * 0.3
+ )
+ is_updown_align = (
+ iou_h > 0
+ and block_label in ["text"]
+ and block_label == prev_label
+ and block_bbox[3] >= prev_bbox[1]
+ and abs(block_bbox[1] - prev_bbox[3])
+ < max(prev_bbox[3] - prev_bbox[1], block_bbox[3] - block_bbox[1]) * 0.5
+ and (
+ is_aligned(block_bbox[0], prev_bbox[0])
+ ^ is_aligned(block_bbox[2], prev_bbox[2])
+ )
+ and overlapwith_other_box(idx, prev_idx, blocks)
+ )
+ if is_cross:
+ align_mode = "center"
+ elif is_updown_align:
+ align_mode = get_alignment(block_bbox, prev_bbox)
+ else:
+ align_mode = None
+
+ if is_cross or is_updown_align:
+ current_group.append(block)
+ current_indices.append(idx)
+ current_aligns.append(align_mode)
+ else:
+ merged_groups.append((current_indices, current_group, current_aligns))
+ current_group = [block]
+ current_indices = [idx]
+ current_aligns = []
+ if current_group:
+ merged_groups.append((current_indices, current_group, current_aligns))
+
+ group_ranges = []
+ for group_indices, group, aligns in merged_groups:
+ start, end = min(group_indices), max(group_indices)
+ group_ranges.append((start, end, group_indices, aligns))
+
+ result_blocks = []
+ used_indices = set()
+ idx = 0
+ while idx < len(blocks):
+ group_found = False
+ for (start, end, group_indices, aligns), (g_indices, g_blocks, g_aligns) in zip(
+ group_ranges, merged_groups
+ ):
+ if idx == start and all(i not in used_indices for i in group_indices):
+ group_found = True
+ imgs = [blocks[i]["img"] for i in group_indices]
+ merge_aligns = aligns if aligns else []
+ w, h = calc_merged_wh(imgs)
+ aspect_ratio = h / w if w != 0 else float("inf")
+ if aspect_ratio >= 3:
+ for j, block_idx in enumerate(group_indices):
+ block = blocks[block_idx].copy()
+ block["img"] = blocks[block_idx]["img"]
+ block["merge_aligns"] = None
+ result_blocks.append(block)
+ used_indices.add(block_idx)
+ else:
+ merged_img = merge_images(imgs, merge_aligns)
+ for j, block_idx in enumerate(group_indices):
+ block = blocks[block_idx].copy()
+ block["img"] = merged_img if j == 0 else None
+ block["merge_aligns"] = merge_aligns if j == 0 else None
+ result_blocks.append(block)
+ used_indices.add(block_idx)
+ insert_list = []
+ for n_idx in range(start + 1, end):
+ if n_idx in non_merge_blocks:
+ insert_list.append(n_idx)
+ for n_idx in insert_list:
+ result_blocks.append(non_merge_blocks[n_idx])
+ used_indices.add(n_idx)
+ idx = end + 1
+ break
+ if group_found:
+ continue
+ if idx in non_merge_blocks and idx not in used_indices:
+ result_blocks.append(non_merge_blocks[idx])
+ used_indices.add(idx)
+ idx += 1
+ return result_blocks
+
+
+def paint_token(image, box, token_str):
+ """
+ Fill a rectangular area in the image with a white background and write the given token string.
+
+ Args:
+ image (np.ndarray): Image to paint on.
+ box (tuple): (x1, y1, x2, y2) coordinates of rectangle.
+ token_str (str): Token string to write.
+
+ Returns:
+ np.ndarray: Modified image.
+ """
+ import cv2
+
+ def get_optimal_font_scale(text, fontFace, square_size, fill_ratio=0.9):
+ # the scale is greater than 0.2 and less than 10,
+ # suitable for square_size is greater than 30 and less than 1000
+ left, right = 0.2, 10
+ optimal_scale = left
+ # search the optimal font scale
+ while right - left > 1e-2:
+ mid = (left + right) / 2
+ (w, h), _ = cv2.getTextSize(text, fontFace, mid, thickness=1)
+ if w < square_size * fill_ratio and h < square_size * fill_ratio:
+ optimal_scale = mid
+ left = mid
+ else:
+ right = mid
+ return optimal_scale, w, h
+
+ x1, y1, x2, y2 = [int(v) for v in box]
+ box_w = x2 - x1
+ box_h = y2 - y1
+
+ img = image.copy()
+ cv2.rectangle(img, (x1, y1), (x2, y2), color=(255, 255, 255), thickness=-1)
+
+ # automatically set scale and thickness according to length of the shortest side
+ font = cv2.FONT_HERSHEY_SIMPLEX
+ thickness_scale_ratio = 4
+ font_scale, text_w, text_h = get_optimal_font_scale(
+ token_str, font, min(box_w, box_h), fill_ratio=0.9
+ )
+ font_thickness = max(1, math.floor(font_scale * thickness_scale_ratio))
+
+ # calculate center coordinates of the patinting text
+ text_x = x1 + (box_w - text_w) // 2
+ text_y = y1 + (box_h + text_h) // 2
+
+ cv2.putText(
+ img,
+ token_str,
+ (text_x, text_y),
+ font,
+ font_scale,
+ (0, 0, 0),
+ font_thickness,
+ lineType=cv2.LINE_AA,
+ )
+ return img
+
+
+def tokenize_figure_of_table(table_block_img, table_box, figures):
+ """
+ Replace figures in a table area with tokens, return new image and token map.
+
+ Args:
+ table_block_img (np.ndarray): Table image.
+ table_box (list): Table bounding box [x_min, y_min, x_max, y_max].
+ figures (List[Dict]): List of figure dicts (must contain 'coordinate', 'path').
+
+ Returns:
+ Tuple[np.ndarray, Dict[str, str], List[str]]:
+ - New table image,
+ - Token-to-img HTML map,
+ - List of figure paths dropped.
+ """
+
+ def gen_random_map(num):
+ exclude_digits = {"0", "1", "9"}
+ seq = []
+ i = 0
+ while len(seq) < num:
+ if not (set(str(i)) & exclude_digits):
+ seq.append(i)
+ i += 1
+ return seq
+
+ import random
+
+ random.seed(1024)
+ token_map = {}
+ table_x_min, table_y_min, table_x_max, table_y_max = table_box
+ drop_idxes = []
+ random_map = gen_random_map(len(figures))
+ random.shuffle(random_map)
+ for figure_id, figure in enumerate(figures):
+ figure_x_min, figure_y_min, figure_x_max, figure_y_max = figure["coordinate"]
+ if (
+ figure_x_min >= table_x_min
+ and figure_y_min >= table_y_min
+ and figure_x_max <= table_x_max
+ and figure_y_max <= table_y_max
+ ):
+ drop_idxes.append(figure_id)
+ # the figure is too small to can't be tokenized and recognized when shortest length is less than 25
+ if min(figure_x_max - figure_x_min, figure_y_max - figure_y_min) < 25:
+ continue
+ draw_box = [
+ figure_x_min - table_x_min,
+ figure_y_min - table_y_min,
+ figure_x_max - table_x_min,
+ figure_y_max - table_y_min,
+ ]
+ token_str = "[F" + str(random_map[figure_id]) + "]"
+ table_block_img = paint_token(table_block_img, draw_box, token_str)
+ token_map[token_str] = f' |
|---|