fine-tune 文字识别模型，需要增加字典

[Kyo1234567]

fine-tune 文字识别模型，需要增加字典，对已经模型识别效果影响大吗？

[GreatV]

在微调文字识别模型时，增加字典对模型识别效果的影响取决于多个因素。根据提供的文档，以下是相关的分析和建议：

1. 增加字典的影响：

   • 数据量需求增加：文档中提到，如果不更换字典，建议至少准备5000张文本识别数据集用于微调。但如果更换了字典，需要的训练数据量会更多。这是因为更换字典后，模型需要重新学习新的字符集，尤其是新增的字符，这需要更多的数据来确保模型能够准确识别这些新字符。
   • 模型初始化问题：在微调时，如果修改了自定义字典，由于无法加载最后一层全连接层（FC）的参数，模型在迭代初期的准确率（acc）可能会为0。这是正常现象，因为模型需要重新学习新的字符集。不过，加载预训练模型仍然可以加快模型的收敛速度。

2. 对识别效果的影响：

   • 正面影响：如果新增的字典字符在目标场景中频繁出现，且训练数据充足，增加字典可以显著提升模型在这些字符上的识别效果。特别是对于垂类场景（如特定行业的术语、符号等），增加字典是非常必要的。
   • 负面影响：如果新增的字典字符在训练数据中出现频率较低，或者训练数据不足，可能会导致模型对这些字符的识别效果不佳，甚至影响模型对其他字符的识别能力。此外，过多的新增字符可能会导致模型过拟合，尤其是在数据量不足的情况下。

3. 建议：

   • 数据平衡：在增加字典时，建议确保新增字符的训练数据量足够，并且尽量平衡语料词频，避免某些字符出现频率过低。可以通过数据合成工具（如TextRenderer）生成特定字符的数据，并将其加入到训练集中。
   • 逐步微调：如果新增的字典字符较多，建议分阶段进行微调。首先微调少量新增字符，观察模型效果，再逐步增加更多字符。这样可以避免一次性引入过多新字符导致模型性能下降。
   • 学习率调整：在微调时，适当调整学习率（如降低学习率）可以帮助模型更好地适应新的字符集，避免过拟合。

总结来说，增加字典对模型识别效果的影响取决于新增字符的数量、训练数据的充足性以及微调策略的合理性。如果处理得当，增加字典可以显著提升模型在特定场景下的识别效果，但需要确保训练数据的质量和数量。

---

Response generated by 🤖 feifei-bot | deepseek-chat

⚠️ This is an AI-generated response. Please verify any critical information.

[Kyo1234567]

另外一个问题：
海外invoce版式都不相同，但是都有发票编号，发票日期，发票金额等信息，但是字段的名称和位置都不固定。我现在想提取以上这些发票关键信息，可以是SER方案来做吗？