图片关键信息提取

[eunij-peanut]

PaddleOCR能实现从不同样式的图片提取出相同的关键信息吗？把不同样式的图片打好标签一起喂给模型就可以吗？我只想提取部分的信息，不想将图片内容全部提取，模型能实现这个功能吗？请各位佬帮忙解答一下，多谢多谢

[GreatV]

PaddleOCR 确实可以实现从不同样式的图片中提取相同的关键信息，你的思路基本是正确的，即通过标注不同样式的图片并进行训练，让模型学习这些关键信息的模式。然而，你遇到的问题是模型预测时仍然检测到了你不想要的文本。这可能与以下几个因素有关：

可能的原因：

1. 训练数据标注不够精准：如果训练时的数据包含了较多不相关的文本信息，模型可能会学习到错误模式并输出你不需要的内容。
2. 损失函数未严格约束目标信息：如果损失函数未能清晰地指导模型仅学习关键信息，可能会导致模型对更多文本内容进行分类。
3. 未使用后处理筛选预测内容：即使模型识别出了所有文本，我们仍然可以通过后处理手段，仅保留你标注的关键信息。

解决方案：

1. 改进标注数据

   • 确保训练集中的数据只标注你想要提取的信息，而忽略其他文本内容，以减少模型错误学习的可能性。
   • 如果数据较少，尝试数据增强（如字体变化、背景噪声加入等），增强模型对于关键信息的泛化能力。

2. 调整训练配置

   • 你可以通过修改 ser_vi_layoutxlm.yml 配置文件，调整 label_map 仅包含你想要的类别。
   • 调整 loss 计算方式，增加对非标注类别的惩罚，使模型更倾向于忽略不需要的文本。

3. 后处理优化

   • 预测得到的类别后，可以在后处理阶段增加逻辑：
     • 只保留标注时定义的类别，过滤掉其他类别的文本信息。
     • 通过关键字或位置信息进行二次筛选，仅保留符合要求的部分。

4. 修改 infer_kie_token_ser.py 进行筛选

   • 在 python3 tools/infer_kie_token_ser.py 代码中，增加后处理逻辑，只输出你的目标类别。

可以参考这个 Discussion 进行详细的优化：
提取关键信息疑问

希望这些方法能帮助你更精准地提取图片中的关键信息！🎯

---

Response generated by 🤖 feifei-bot | chatgpt-4o-latest

⚠️ This is an AI-generated response. Please verify any critical information.

[eunij-peanut]

对于训练数据标注不够精准这一问题，请问我该如何改进？我现在是在ser模块进行数据准备时，仅标注我要提取的关键信息，但ser进行推理时，会用ocr模型将图片的所有信息全部识别，然后ser模型再进行语义实体识别。所以我需要仅仅标注关键信息的检测框然后训练一个ocr模型吗？还是说在ser模块进行数据准备时，就将非关键信息打上other标签？麻烦佬解答一下

[eunij-peanut]

PaddleOCR 确实可以实现从不同样式的图片中提取相同的关键信息，你的思路基本是正确的，即通过标注不同样式的图片并进行训练，让模型学习这些关键信息的模式。然而，你遇到的问题是模型预测时仍然检测到了你不想要的文本。这可能与以下几个因素有关：

可能的原因：

1. 训练数据标注不够精准：如果训练时的数据包含了较多不相关的文本信息，模型可能会学习到错误模式并输出你不需要的内容。
2. 损失函数未严格约束目标信息：如果损失函数未能清晰地指导模型仅学习关键信息，可能会导致模型对更多文本内容进行分类。
3. 未使用后处理筛选预测内容：即使模型识别出了所有文本，我们仍然可以通过后处理手段，仅保留你标注的关键信息。

解决方案：

1. 改进标注数据

   • 确保训练集中的数据只标注你想要提取的信息，而忽略其他文本内容，以减少模型错误学习的可能性。
   • 如果数据较少，尝试数据增强（如字体变化、背景噪声加入等），增强模型对于关键信息的泛化能力。

2. 调整训练配置

   • 你可以通过修改 ser_vi_layoutxlm.yml 配置文件，调整 label_map 仅包含你想要的类别。
   • 调整 loss 计算方式，增加对非标注类别的惩罚，使模型更倾向于忽略不需要的文本。

3. 后处理优化

   • 预测得到的类别后，可以在后处理阶段增加逻辑：

     • 只保留标注时定义的类别，过滤掉其他类别的文本信息。
     • 通过关键字或位置信息进行二次筛选，仅保留符合要求的部分。

4. 修改 infer_kie_token_ser.py 进行筛选

   • 在 python3 tools/infer_kie_token_ser.py 代码中，增加后处理逻辑，只输出你的目标类别。

可以参考这个 Discussion 进行详细的优化： 提取关键信息疑问

希望这些方法能帮助你更精准地提取图片中的关键信息！🎯

Response generated by 🤖 feifei-bot | chatgpt-4o-latest

⚠️ This is an AI-generated response. Please verify any critical information.

对于训练数据标注不够精准这一问题，请问我该如何改进？我现在是在ser模块进行数据准备时，仅标注我要提取的关键信息，但ser进行推理时，会用ocr模型将图片的所有信息全部识别，然后ser模型再进行语义实体识别。所以我需要仅仅标注关键信息的检测框然后训练一个ocr模型吗？还是说在ser模块进行数据准备时，就将非关键信息打上other标签？麻烦佬解答一下