如何更好的微调

[hqx11]

请问大神们，使用中英文通用模型的预训练模型进行预测，对于特定字符识别识别效果较差（比如罗马字母），我想模型进行微调（不改变字典），需要冻结前面的层，只对最后FC层进行训练吗？微调的数据集需要覆盖字典的所有字符吗？每个字符的数据个数多少比较合适，谢谢

[tink2123]

这种情况不需要覆盖字典中的所有字符，有针对性的补充罗马字母的数据即可，5万左右的数据，迭代轮次少一点。最好构建一个比较准确的评估集，防止模型学偏。

[hqx11]

评估集要包含所有字符吗？需要冻结前面的层吗？谢谢

[ymy1005]

请问你是如何处理字典的，有新增需要识别的字符，是直接加在原来的模型字典吗，字典长度改变就不能加载预训练参数了