寻求工业领域特殊字符的解决方案

[figoshi]

目前使用的是PPV5的识别和检测模型,表格结构用的PPStructureV3

当前对于V5的识别结果比较满意,尤其是(文本识别准确率和手写文字准确率)

期望:
参加下图1=>工业领域有很多的特殊字符,但是PP基本上识别不出来。
图2为之后希望训练的特殊字符全集。
期望能增加特殊字符的准确率,且务必不要丢失(文本识别准确率和手写文字准确率)
目前希望针对PPV5的识别模型进行下优化

问题
能否咨询下详细的解决方案路线呢
1.包括应该准备哪些数据集合,希望不要准备太多数据,类似于十几万上百万那种的,有点顶不住~
(循序渐进一次性优化1-5个字符都行)

2.使用蒸馏还是微调(对于我们的问题他们的区别是什么)

3.有没有PPV5的方案解决方案的文档(只想用V5,因为手写文字准确率太好了)

4.我尝试使用V5的文档进行了下微调(V5rec识别模型),(数据准备5000个中文语料中,以10:1掺杂了特殊字符的图片)

参考文档:
https://paddlepaddle.github.io/PaddleOCR/main/version3.x/module_usage/text_recognition.html#_5

yml如下(基本没有大改)
https://github.com/PaddlePaddle/PaddleOCR/blob/main/configs/rec/PP-OCRv5/PP-OCRv5_server_rec.yml

发现训练完之后的模型,手写识别的能力和以前文本识别的准确率都下降巨多(基本等于全遗忘)

5.所以希望寻求最正确的解决姿势,万分感谢~

[zhangyubo0722]

非常感谢对PP-OCRv5模型的肯定，对于您所遇到的问题，当前确实没有特别好的办法，因为PP-OCRv5是数据驱动的模型，我们在训练时用到了2200w以上的数据，包括手写印刷等等，并且这些数据是不会开源的。所以如果想在增加字典的情况下微调，只会在特定场景表现较好，而很难保持PP-OCRv5原有的能力。
不过如果您是对于手写文本要求较高，可以尝试自己收集手写数据，我们数据收集标注流程在之前的直播课中也提到过，可以微信关注飞桨paddlepaddle查看回放。有其他疑问欢迎提问。