PaddleX/latest/pipeline_usage/tutorials/information_extraction_pipelines/document_scene_information_extraction_v4

[giscus[bot]]

PaddleX/latest/pipeline_usage/tutorials/information_extraction_pipelines/document_scene_information_extraction_v4

https://paddlepaddle.github.io/PaddleX/latest/pipeline_usage/tutorials/information_extraction_pipelines/document_scene_information_extraction_v4.html

[gaoxiangpost]

请问处理pdf文件，假如文件中既有文字的部分，也有图片的部分，内部是如何处理的？全部转换成图片再ocr吗，还是有所区分呢？

[cuicheng01]

全部转换成图片再处理，因为我们不会去利用相关的PDF解析工具解析文字，而是全部交给模型，相关的工具解析可能会有错误

[yuanmengwei]

请问，这个怎么使用自己部署的大模型呢

[cuicheng01]

符合openai接口的可以部署后直接调用

[GY13648114184]

这个可以使用微调的方式对图片格式的文档指定内容进行抽取吗？因为我并没有看到对文档抽取方面的微调，感觉主要是对版面分析方面的微调。

[GY13648114184]

想问一下这个文档场景信息抽取和paddleNLP中的UIE通过label-studio训练的那个模型有什么区别吗？

[cuicheng01]

做的事情类似，但是有以下不同：

1. paddlenlp的UIE是一个模型，模型接受的输入是文本，输出也是文本；PP-ChatOCR系统是多个模型串联的系统，输入可以是PDF文件、文档图像等
2. paddlenlp中的UIE由于是一个模型，如果哪块效果不好，单独微调这一个模型即可，好处是不用理解太多的概念，可以实现快速微调，问题是微调后可能会引来新的bad case，PP-ChatOCR系统是多个模型串联的系统，哪个模型不好可以微调哪个模型；
3. paddlenlp中的UIE训练好之后模型已经固定，通过后处理调优结果存在一定瓶颈，PP-ChatOCR好处是可以通过调优prompt来解决你自己垂类场景的信息抽取的问题

[GY13648114184]

如果我用的是ollama部署的本地大模型可以进行调用吗？如果可以的话它的key这些参数应该怎么配置呢？

[CrazyDJDave]

可以调用ollama的，把config按下面的修改就行了
chat_bot_config={
"module_name":"chat_bot",
"model_name":"gemma3:1b",
"base_url":"http://localhost:11434/v1",
"api_type":"openai",
"api_key":"sk-123456789"
}
retriever_config={
"module_name":"retriever",
"model_name":"nomic-embed-text:latest",
"base_url":"http://localhost:11434/v1",
"api_type":"openai",
"api_key":"sk-123456789"
}
mllm_chat_bot_config={
"module_name":"chat_bot",
"model_name":"qwen2.5-vl-72b-instruct",
"base_url":"http://localhost:11434/v1",
"api_type":"openai",
"api_key":"sk-123456789"
}
调用ollama部署的一般不用api_key，但是paddlex好像有判空，所以随便填一个api_key就行了，mllm的我没有试过，LLM和embedding是直接可以这样调用的

[GY13648114184]

感谢您的解答，完美的解决了我的问题。

[GY13648114184]

但是如果我抽取的文本当中包含英文某些字符的话抽取的结果中不会显示，比如“[ ]”英文的方括号

[CrazyDJDave]

直接调用的模型用的字典在PaddleX\paddlex\repo_manager\repos\PaddleOCR\ppocr\utils\ppocr_keys_v1.txt，字典里面只有六千多个字符，里面有左方括号[，没有右方括号]，可以试试看用自己的字典再微调下

[GY13648114184]

可是我没有下载源码，我是直接安装的paddleX那么字典文件在哪里呢？

[CrazyDJDave]

你现在的任务是从OCR结果中提取问题列表中每一个问题的答案。 OCR的文字识别结果使用```符号包围，包含所识别出来的文字，顺序在原
始图片中从左至右、从上至下。 我指定的问题列表使用[]符号包围。请注意OCR的文字识别结果可能存在长句子换行被切断、不合理的分词
、 文字被错误合并等问题，你需要结合上下文语义进行综合判断，以获取准确的答案。请依次确认满足下面要求。（1）每个问题的答案用OCR结果的内容回答，针对问题回答尽可能详细和完整， 并保持格式、数字、正负号、单位、符号和标点都与OCR结果中的内容完全一致。 （
2）如果答案的句末有标点符号，请添加标点符号。 （3）对于答案中的数字，如果可以推断出单位，请补充相应的单位。在返回结果时使用
JSON格式，包含多个key-value对，key值为我指定的问题，value值为该问题对应的答案。 如果认为OCR识别结果中，对于问题key，没有答
案，则将value赋值为"未知"。请只输出json格式的结果， 并做json格式校验后返回，不要包含其它多余文字！
结合上面的例子，下面正式开始：OCR文字：
LLM默认prompt是这样的，能通过config修改prompt吗，还是要怎么修改

[changdazhou]

可以修改config，也可以参考config在chat函数中传入哈，可以看下文档

[GY13648114184]

测试了过后发现如果针对像测试文件这种比较制式的表格来说抽取的内容比较正确。但是如果是抽取的文档非表格版式如红头文件抽取标题、抽取责任者、抽取文号正确率基本为0，我用的大模型为deepseek,gemma3,qwen都一样的效果。我看到模型微调并没有针对我要抽取的指定内容进行标注调整，我之前用过paddleNLP中的UIE基本能够解决我上面说的问题，但是对表格同一单元格换行的情况只能够抽取到第一行的内容[不知道有没有什么方法能够解决此问题，其实UIE感觉整体效果比这个好，虽然只能进行单页抽取]

[code-frog-one]

请问这个产线可以私有化部署商用吗？

[code-frog-one]

这条产线可以只使用提取部分的功能吗？不使用ocr识别，因为识别速度比较慢。通过代码的方式注释掉ocr识别的代码，是可以实现只使用 抽取的功能的。但是我想使用高性能推理进行部署服务，所以有没有通过配置的方式来调整呢？

[code-frog-one]

这条产线可以只使用提取部分的功能吗？不使用ocr识别，因为识别速度比较慢。通过代码的方式注释掉ocr识别的代码，是可以实现只使用 抽取的功能的。但是我想使用高性能推理进行部署服务，所以有没有通过配置的方式来调整呢？

[ruisnowy]

文档场景信息抽取v4产线目前支持直接识别excel图片生成excel?根据文档的介绍，本地源码方式运行，不稳定，V4大概多久后能够在线测试

[liuhongen1234567]

您好，在线测试目前已经支持了，可以通过星河链接 https://aistudio.baidu.com/community/app/518493/webUI 体验。

[Dazui-Wang]

咨询下：设置了 --device dcu:0 报：ValueError: invalid literal for int() with base 10: "NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running." 有什么解决办法吗？

DCU的驱动、DTK都有安装。

[Bobholamovic]

请尝试最新版本paddlex，应该已经修复了这个问题～

[code-frog-one]

请问我使用docker部署的 gpu版本的chatocrv4, 只调用/chatocr-visual接口的识别耗时是2.56s左右，我识别的是一张表格的图片，属于正常大小，我的设备是 4090 24G的。产线调用后输出的模型配置是'model_settings': {'use_doc_preprocessor': True, 'use_seal_recognition': True, 'use_table_recognition': True, 'use_formula_recognition': False}。有什么方案解决吗？速度想到毫秒级

[liuhongen1234567]

您好，可以试下paddlex的高性能服务.速度应该会有所提升，另外对于同一张图第一次慢应该也比较正常，执行后会建立向量库，之后再做信息抽取会直接读取库中的数据。

[code-frog-one]

我使用docker部署的paddlex，如何更新到最新的paddlex ？

[code-frog-one]

pp-chatocrv4 如何设置paddleocr中的参数，比如return_word_box参数 ocr中有，但是在chatocr中如何设置呢？