微调中文繁体问题请教

[hecheng64]

🔎 Search before asking

• I have searched the PaddleOCR Docs and found no similar bug report.
• I have searched the PaddleOCR Issues and found no similar bug report.
• I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

微调中文繁体问题请教： 你好，我现在用ppocr release/2.10 版本微调繁体字，网上收集一些繁体数据集Traditional Chinese Handwriting Dataset，微调模型基于chinese_cht_PP-OCRv3_rec_train，然后发现新增繁体字在ppocr/utils/dict/chinese_cht_dict.txt没覆盖到，新增繁体字可以之间在ppocr/utils/dict/chinese_cht_dict.txt后之间添加吗？有顺序要求？而且我这种方法对吗？还是说chinese_cht_dict.txt 之间完全替换我数据集里面繁体字

🏃‍♂️ Environment (运行环境)

版本基于ppocr release/2.10 微调模型：chinese_cht_PP-OCRv3_rec_train

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

无

[GreatV]

你好！关于在 PaddleOCR 中微调繁体中文识别模型并增加字典的相关问题，可以参考以下几点：

1️⃣ 是否可以直接在 chinese_cht_dict.txt 里新增繁体字？

是的，你可以直接在 ppocr/utils/dict/chinese_cht_dict.txt 文件中添加新的繁体字。但是请注意：

• 新增的字符需要按顺序排列：建议按照 Unicode 编码顺序或其他一致的方式添加，以确保训练过程中索引正确。
• 训练数据要与字典匹配：新增的字符必须在你的训练数据中出现，否则模型无法学习到这些字符的特征。

2️⃣ 需不需要完全替换 chinese_cht_dict.txt ？

这取决于你的数据集：

• 如果你的数据集主要包含现有字典的字符，可以仅新增字符。
• 如果你的数据集和官方字典不同，建议完全替换为你的自定义字典，这样模型不会去学习不必要的字符，提高训练效率。

3️⃣ 其他需要注意的事项

• 修改字典后，训练需要从头开始，因为识别模型会将字典的字符映射到输出类别，如果字典不同，以前的训练权重就不适用了。
• 字典的大小会影响推理速度：参考 Issue #14219，如果字典增加到 40,000+ 字，推理速度可能会大幅下降。因此，建议只添加必须的字符，避免不必要的扩展。

4️⃣ 可能的优化方案：

• 减少字典规模：只保留必要的字符，减少计算复杂度。
• 使用轻量级模型：如果字典扩大导致推理变慢，可以尝试优化网络结构或使用更高效的模型（如 PP-OCRv4）。
• 调整 batch size 和计算资源：根据你的硬件条件调整 batch_size 和 num_workers 以提高训练效率。

希望这些建议对你有所帮助！如果有进一步的问题，欢迎继续讨论 😊

---

Response generated by 🤖 feifei-bot | chatgpt-4o-latest

⚠️ This is an AI-generated response. Please verify any critical information.

[hecheng64]

@GreatV 谢谢你。容我啰嗦下：
新增的字符需要按顺序排列：建议按照 Unicode 编码顺序或其他一致的方式添加，以确保训练过程中索引正确。
训练数据要与字典匹配：新增的字符必须在你的训练数据中出现，否则模型无法学习到这些字符的特征
----->如果是新增字符训练的话，基于chinese_cht_PP-OCRv3_rec_train训练，我是不是把新增字符的数据集和原先你们训练数据集进行合并才能完整训练，因为字典里面即含有原先里面旧字典还有包括我们新增字典？如果只是训练新增字符的数据集，原先你们字典是不是旧识别不了？有办法只训练新增字符和对应数据集？如果有办法，是怎么训练方法？

[SWHL]

是不是把新增字符的数据集和原先你们训练数据集进行合并才能完整训练，因为字典里面即含有原先里面旧字典还有包括我们新增字典？

是这么个意思。

如果只是训练新增字符的数据集，原先你们字典是不是旧识别不了？

是的，所有建议微调。只微调一些层。同时数据量要上去。

[hecheng64]

@SWHL 大佬请教你一个问题，本来原先推理模型ch_PP-OCRv3_rec_infer可以推理多行一些复杂行数数据，但是按照官网上面https://blog.csdn.net/baidu_41617231/article/details/135994691 微调后字写字体模型后，推理测试数据集手写字体数据没什么问题，但是测试多行数据只检测第一行数据，怎么解决？ 是因为数据集都是当行数据导致？

[SWHL]

没有看太懂。文本检测模型是哪个呀？“可以推理多行一些复杂行数数据”是啥意思啊