微调后的识别模型，推理结果在行尾莫名多出一个字

[kerry-weic]

如上图，用微调后的模型推理，行尾多了一个“继”字，并且出现的频率还不算低，检查了微调的训练数据，暂未发现此类情况错误标注的数据；请问我还可以从哪些方面分析此问题呢。

[GreatV]

可以从以下几个方面进行分析和排查：

1. 数据集质量检查：

   • 再次仔细检查训练数据集，确保所有标注是正确的，特别是行尾和字符的标注是否准确无误。
   • 检查数据集中是否有重复数据，或者是否有一些特定的样本在训练集中出现的频率异常高。

2. 数据预处理和增强：

   • 确认数据预处理步骤是否正确执行，如图像的裁剪、旋转、缩放等操作。
   • 检查是否在数据增强过程中引入了额外的噪声或错误。

3. 训练过程检查：

   • 检查训练过程中的日志，特别是损失函数的变化和收敛情况，是否存在异常波动。
   • 确认是否在训练过程中有过早停止或训练时间不足的问题。

4. 字符集和词汇表：

   • 检查模型使用的字符集和词汇表，确保没有多余的字符或错误的映射。
   • 如果使用了自定义的词汇表，确认其内容与实际需求匹配。