re模型推理结果异常，感觉是数据加载部分代码有问题

[Lucknicking]

🔎 Search before asking

• I have searched the PaddleOCR Docs and found no similar bug report.
• I have searched the PaddleOCR Issues and found no similar bug report.
• I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

我训练了re模型过后，在推理的时候，发生一个奇怪的现象，就是关系建立的时候，所有的answer都连接到了到了第一个question，我设置的epoch是50，最后一轮的模型或者最好的模型都会是这样的效果，但是当我训练10轮的时候，就不是这种效果。所以我推测会不会是数据集处理的地方有问题，但是代码量太多了，我还没排查到
50轮的效果如下图，里面只有一个question了，并且全都是连接到了第一个：

10轮的效果如下图，有多个question：

好心人知道的麻烦解答一下

🏃‍♂️ Environment (运行环境)

代码包好像不太重要

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

如上图

[GreatV]

你的问题可能与数据加载或训练过程中的某些设置有关，特别是随着训练轮数的增加，模型的表现发生变化。以下是一些可能的原因及解决方案：

可能的原因：

1. 数据加载问题：

   • 你的数据可能在训练过程中被错误地处理或打乱，导致模型在后期训练时错误地建立了关系。
   • 检查数据加载代码，确保 question 和 answer 之间的关系在整个训练过程中保持一致。
   • 你可以尝试在训练过程中打印部分数据，看看 question 和 answer 是否正确匹配。

2. 过拟合问题：

   • 训练50轮时模型可能过拟合，导致它对 question 的预测变得过于局限，最终所有 answer 都映射到同一个 question。
   • 你可以尝试：
     • 减少训练轮数（比如20轮左右）。
     • 调整学习率（可能学习率过低，导致模型无法继续优化）。
     • 使用数据增强，增加数据的多样性。

3. 模型参数初始化或优化器问题：

   • 你可以检查优化器的设置，比如 learning rate 是否合适，或者梯度裁剪是否过于严格。
   • 尝试使用不同的优化器（如 Adam、SGD）或者调整超参数。

4. 损失函数问题：

   • 你的 RE 任务可能依赖某种损失函数来指导 question 和 answer 之间的关系，如果损失函数设计不合理，可能导致推理结果异常。
   • 可以检查 loss 是否在后期训练时异常下降或者震荡。

5. 数据预处理的影响：

   • 你是否在训练和推理时使用了相同的数据预处理步骤？如果 inference 的数据预处理方式和 training 不匹配，可能会导致推理时的表现异常。

可能的解决方案：

1. 检查数据加载逻辑：

   • 训练时打印部分数据，确保 question 和 answer 的关系没有被错误改变。

2. 尝试不同的训练轮数：

   • 既然 10 轮训练时效果正常，可以尝试 20、30、40 轮，找到模型开始异常的阈值。

3. 调整超参数：

   • 适当调整 learning rate，或使用 warmup 机制来改善训练稳定性。

4. 参考相关问题：

   • 你可以参考这个 PaddleOCR Discussions 贴子 KIE中的RE任务，运行官方示例没有linking信息，看看是否有类似的 linking 问题，并检查是否有代码实现上的问题。

如果你能提供更多的代码细节，比如数据加载部分或者训练日志，可能会更容易定位问题！🚀

---

Response generated by feifei-bot | chatgpt-4o-latest