关于use_angle_cls参数影响OCR识别的问题

[minboo]

• 系统环境/System Environment：Windows11、 2080ti、 cuda11.2
• 版本号/Version：Paddle：2.4.2 PaddleOCR：2.6 and 2.7

我在测试PaddleOCR的时，似乎发现use_angle_cls参数设置为True时会影响识别，不知道时BUG还是其他的什么原因，还有如果use_angle_cls=False的话会影响什么功能？如果下面是我的测试代码，希望能得到解答，谢谢各位。

• 下面是设置use_angle_cls为False时的情况，识别结果正常

from paddleocr import PaddleOCR, draw_ocr
ocr = PaddleOCR(use_angle_cls=False,
                det_model_dir="/workspace/OCR/models/PP-OCRv3/det",
                rec_model_dir='/workspace/OCR/models/PP-OCRv3/rec',
                cls_model_dir="/workspace/OCR/models/ch_ppocr_mobile_v2.0_cls_infer")
img_path = 'C:\\Users\\Windows11\\Desktop\\Lou\\0193.jpg'
result = ocr.ocr(img_path, cls=True)
for idx in range(len(result)):
    res = result[idx]
    for line in res:
        print(line)

# 显示结果
from PIL import Image
result = result[0]
image = Image.open(img_path).convert('RGB')
boxes = [line[0] for line in result]
txts = [line[1][0] for line in result]
scores = [line[1][1] for line in result]
im_show = draw_ocr(image, boxes, None, scores)
im_show = Image.fromarray(im_show)
im_show.save('det+rec_result.jpg')

这个是use_angle_cls=False时的输出结果

[2023/09/09 16:04:49] ppocr DEBUG: Namespace(alpha=1.0, benchmark=False, beta=1.0, cls_batch_num=6, cls_image_shape='3, 48, 192', cls_model_dir='/workspace/OCR/models/ch_ppocr_mobile_v2.0_cls_infer', cls_thresh=0.9, cpu_threads=10, crop_res_save_dir='./output', det=True, det_algorithm='DB', det_box_type='quad', det_db_box_thresh=0.6, det_db_score_mode='fast', det_db_thresh=0.3, det_db_unclip_ratio=1.5, det_east_cover_thresh=0.1, det_east_nms_thresh=0.2, det_east_score_thresh=0.8, det_limit_side_len=960, det_limit_type='max', det_model_dir='/workspace/OCR/models/PP-OCRv3/det', det_pse_box_thresh=0.85, det_pse_min_area=16, det_pse_scale=1, det_pse_thresh=0, det_sast_nms_thresh=0.2, det_sast_score_thresh=0.5, draw_img_save_dir='./inference_results', drop_score=0.5, e2e_algorithm='PGNet', e2e_char_dict_path='./ppocr/utils/ic15_dict.txt', e2e_limit_side_len=768, e2e_limit_type='max', e2e_model_dir=None, e2e_pgnet_mode='fast', e2e_pgnet_score_thresh=0.5, e2e_pgnet_valid_set='totaltext', enable_mkldnn=False, fourier_degree=5, gpu_id=0, gpu_mem=500, help='==SUPPRESS==', image_dir=None, image_orientation=False, ir_optim=True, kie_algorithm='LayoutXLM', label_list=['0', '180'], lang='ch', layout=True, layout_dict_path=None, layout_model_dir=None, layout_nms_threshold=0.5, layout_score_threshold=0.5, max_batch_size=10, max_text_length=25, merge_no_span_structure=True, min_subgraph_size=15, mode='structure', ocr=True, ocr_order_method=None, ocr_version='PP-OCRv4', output='./output', page_num=0, precision='fp32', process_id=0, re_model_dir=None, rec=True, rec_algorithm='SVTR_LCNet', rec_batch_num=6, rec_char_dict_path='D:\\software\\Dev\\anaconda3\\envs\\paddle\\lib\\site-packages\\paddleocr\\ppocr\\utils\\ppocr_keys_v1.txt', rec_image_inverse=True, rec_image_shape='3, 48, 320', rec_model_dir='/workspace/OCR/models/PP-OCRv3/rec', recovery=False, save_crop_res=False, save_log_path='./log_output/', scales=[8, 16, 32], ser_dict_path='../train_data/XFUND/class_list_xfun.txt', ser_model_dir=None, show_log=True, sr_batch_num=1, sr_image_shape='3, 32, 128', sr_model_dir=None, structure_version='PP-StructureV2', table=True, table_algorithm='TableAttn', table_char_dict_path=None, table_max_len=488, table_model_dir=None, total_process_num=1, type='ocr', use_angle_cls=False, use_dilation=False, use_gpu=True, use_mp=False, use_npu=False, use_onnx=False, use_pdf2docx_api=False, use_pdserving=False, use_space_char=True, use_tensorrt=False, use_visual_backbone=True, use_xpu=False, vis_font_path='./doc/fonts/simfang.ttf', warmup=False)
[2023/09/09 16:04:52] ppocr WARNING: Since the angle classifier is not initialized, the angle classifier will not be uesd during the forward process
[2023/09/09 16:04:53] ppocr DEBUG: dt_boxes num : 23, elapse : 0.6739137172698975
[2023/09/09 16:04:54] ppocr DEBUG: rec_res num  : 23, elapse : 0.41700196266174316
[[[2104.0, 137.0], [2342.0, 161.0], [2334.0, 242.0], [2095.0, 219.0]], ('“：191', 0.5142739415168762)]
[[[363.0, 487.0], [2155.0, 502.0], [2155.0, 561.0], [362.0, 546.0]], ('占用费，原告请求以年利率6%计算过高，一审法院不予支持，', 0.9303880929946899)]
[[[355.0, 612.0], [2200.0, 627.0], [2200.0, 690.0], [355.0, 675.0]], ('应依照中国人民银行贷款利率计付。其中2013年油贴2310000', 0.977315366268158)]
[[[351.0, 738.0], [2197.0, 749.0], [2196.0, 812.0], [351.0, 801.0]], ('元，利息从2014年7月1日计至2017年11月30日；2014年', 0.9473560452461243)]
[[[351.0, 863.0], [2200.0, 878.0], [2200.0, 941.0], [351.0, 926.0]], ('油贴1800000元从2015年7月1日至2017年11月30日；2015', 0.9379001259803772)]
[[[348.0, 985.0], [2185.0, 1000.0], [2185.0, 1066.0], [347.0, 1051.0]], ('年1至10月油贴712500元从2015年7月1日至2017年11月', 0.9780924320220947)]
[[[351.0, 1122.0], [528.0, 1122.0], [528.0, 1177.0], [351.0, 1177.0]], ('30日。', 0.9758462905883789)]
[[[480.0, 1240.0], [2200.0, 1255.0], [2200.0, 1317.0], [479.0, 1302.0]], ('2.原告主张2006年1月24日购买4辆美的空调车投入26', 0.9379667639732361)]
[[[348.0, 1365.0], [2197.0, 1380.0], [2196.0, 1443.0], [347.0, 1428.0]], ('路运营，直到2015年10月14日报废，被告已补偿原告燃油补', 0.9609884023666382)]
[[[344.0, 1490.0], [2189.0, 1506.0], [2188.0, 1568.0], [343.0, 1553.0]], ('贴至2012年12月，剩余年限应补燃油补贴385800元，资金占', 0.9741359949111938)]
[[[344.0, 1616.0], [2197.0, 1631.0], [2196.0, 1694.0], [343.0, 1679.0]], ('用利息63609元（分别从第二年7月1日起至2017年11月30', 0.9798681735992432)]
[[[345.0, 1737.0], [578.0, 1746.0], [576.0, 1812.0], [343.0, 1803.0]], ('日止）。', 0.9680050015449524)]
[[[476.0, 1867.0], [2189.0, 1878.0], [2189.0, 1941.0], [475.0, 1930.0]], ('被告认为钦州到钦州港的线路属于县际客运班线，根据钦州', 0.9517157673835754)]
[[[348.0, 1992.0], [2178.0, 2007.0], [2177.0, 2066.0], [347.0, 2051.0]], ('市道路运输管理的文件规定只有公交模式的经营才能得到油贴。', 0.9879602789878845)]
[[[480.0, 2118.0], [2189.0, 2129.0], [2189.0, 2192.0], [479.0, 2180.0]], ('一审法院认为，根据钦州市道路运输管理处《关于进一步规', 0.9592246413230896)]
[[[340.0, 2243.0], [2204.0, 2254.0], [2204.0, 2317.0], [340.0, 2306.0]], ('范钦州港线路客车营运秩序的通知》（钦市运输【2011］58号）', 0.8801027536392212)]
[[[340.0, 2369.0], [2189.0, 2384.0], [2188.0, 2443.0], [339.0, 2428.0]], ('确定钦州港线路按客车模式实施管理。根据国务院《关于城市优', 0.9212595224380493)]
[[[336.0, 2494.0], [2189.0, 2509.0], [2188.0, 2572.0], [336.0, 2557.0]], ('先发展公共交通的指导意见》（国发【2012］64号）及《钦州', 0.9499342441558838)]
[[[336.0, 2616.0], [2189.0, 2631.0], [2188.0, 2694.0], [336.0, 2678.0]], ('市本级2012年度农村道路客运、城市出租车和城市公交成品油', 0.9472535848617554)]
[[[332.0, 2741.0], [2193.0, 2756.0], [2192.0, 2819.0], [332.0, 2804.0]], ('价格改革中央补助资金补贴方案》的规定，原告主张的2006年', 0.9247215986251831)]
[[[332.0, 2867.0], [2193.0, 2882.0], [2192.0, 2944.0], [332.0, 2929.0]], ('购买4辆车投入26路营运的是钦州到钦州港的线路属于县际客', 0.9378551840782166)]
[[[332.0, 2992.0], [2185.0, 3007.0], [2185.0, 3070.0], [332.0, 3055.0]], ('运班线，不属于成品油价格补贴的范围。因此，原告请求被告支', 0.8999022245407104)]
[[[2038.0, 3258.0], [2193.0, 3258.0], [2193.0, 3313.0], [2038.0, 3313.0]], ('一9一', 0.7707895636558533)]

• 下面是设置use_angle_cls为True时的情况，可以看到识别结果漏了一行

from paddleocr import PaddleOCR, draw_ocr
ocr = PaddleOCR(use_angle_cls=True,
                det_model_dir="/workspace/OCR/models/PP-OCRv3/det",
                rec_model_dir='/workspace/OCR/models/PP-OCRv3/rec',
                cls_model_dir="/workspace/OCR/models/ch_ppocr_mobile_v2.0_cls_infer")
img_path = 'C:\\Users\\Windows11\\Desktop\\Lou\\0193.jpg'
result = ocr.ocr(img_path, cls=True)
for idx in range(len(result)):
    res = result[idx]
    for line in res:
        print(line)

# 显示结果
from PIL import Image
result = result[0]
image = Image.open(img_path).convert('RGB')
boxes = [line[0] for line in result]
txts = [line[1][0] for line in result]
scores = [line[1][1] for line in result]
im_show = draw_ocr(image, boxes, None, scores)
im_show = Image.fromarray(im_show)
im_show.save('det+rec_result.jpg')

这个是use_angle_cls=True时的输出结果

[2023/09/09 16:23:00] ppocr DEBUG: Namespace(alpha=1.0, benchmark=False, beta=1.0, cls_batch_num=6, cls_image_shape='3, 48, 192', cls_model_dir='/workspace/OCR/models/ch_ppocr_mobile_v2.0_cls_infer', cls_thresh=0.9, cpu_threads=10, crop_res_save_dir='./output', det=True, det_algorithm='DB', det_box_type='quad', det_db_box_thresh=0.6, det_db_score_mode='fast', det_db_thresh=0.3, det_db_unclip_ratio=1.5, det_east_cover_thresh=0.1, det_east_nms_thresh=0.2, det_east_score_thresh=0.8, det_limit_side_len=960, det_limit_type='max', det_model_dir='/workspace/OCR/models/PP-OCRv3/det', det_pse_box_thresh=0.85, det_pse_min_area=16, det_pse_scale=1, det_pse_thresh=0, det_sast_nms_thresh=0.2, det_sast_score_thresh=0.5, draw_img_save_dir='./inference_results', drop_score=0.5, e2e_algorithm='PGNet', e2e_char_dict_path='./ppocr/utils/ic15_dict.txt', e2e_limit_side_len=768, e2e_limit_type='max', e2e_model_dir=None, e2e_pgnet_mode='fast', e2e_pgnet_score_thresh=0.5, e2e_pgnet_valid_set='totaltext', enable_mkldnn=False, fourier_degree=5, gpu_id=0, gpu_mem=500, help='==SUPPRESS==', image_dir=None, image_orientation=False, ir_optim=True, kie_algorithm='LayoutXLM', label_list=['0', '180'], lang='ch', layout=True, layout_dict_path=None, layout_model_dir=None, layout_nms_threshold=0.5, layout_score_threshold=0.5, max_batch_size=10, max_text_length=25, merge_no_span_structure=True, min_subgraph_size=15, mode='structure', ocr=True, ocr_order_method=None, ocr_version='PP-OCRv4', output='./output', page_num=0, precision='fp32', process_id=0, re_model_dir=None, rec=True, rec_algorithm='SVTR_LCNet', rec_batch_num=6, rec_char_dict_path='D:\\software\\Dev\\anaconda3\\envs\\paddle\\lib\\site-packages\\paddleocr\\ppocr\\utils\\ppocr_keys_v1.txt', rec_image_inverse=True, rec_image_shape='3, 48, 320', rec_model_dir='/workspace/OCR/models/PP-OCRv3/rec', recovery=False, save_crop_res=False, save_log_path='./log_output/', scales=[8, 16, 32], ser_dict_path='../train_data/XFUND/class_list_xfun.txt', ser_model_dir=None, show_log=True, sr_batch_num=1, sr_image_shape='3, 32, 128', sr_model_dir=None, structure_version='PP-StructureV2', table=True, table_algorithm='TableAttn', table_char_dict_path=None, table_max_len=488, table_model_dir=None, total_process_num=1, type='ocr', use_angle_cls=True, use_dilation=False, use_gpu=True, use_mp=False, use_npu=False, use_onnx=False, use_pdf2docx_api=False, use_pdserving=False, use_space_char=True, use_tensorrt=False, use_visual_backbone=True, use_xpu=False, vis_font_path='./doc/fonts/simfang.ttf', warmup=False)
[2023/09/09 16:23:05] ppocr DEBUG: dt_boxes num : 23, elapse : 0.6916077136993408
[2023/09/09 16:23:05] ppocr DEBUG: cls num  : 23, elapse : 0.357999324798584
[2023/09/09 16:23:06] ppocr DEBUG: rec_res num  : 23, elapse : 0.12900066375732422
[[[2104.0, 137.0], [2342.0, 161.0], [2334.0, 242.0], [2095.0, 219.0]], ('“：191', 0.5142739415168762)]
[[[363.0, 487.0], [2155.0, 502.0], [2155.0, 561.0], [362.0, 546.0]], ('占用费，原告请求以年利率6%计算过高，一审法院不予支持，', 0.9303880929946899)]
[[[355.0, 612.0], [2200.0, 627.0], [2200.0, 690.0], [355.0, 675.0]], ('应依照中国人民银行贷款利率计付。其中2013年油贴2310000', 0.977315366268158)]
[[[351.0, 738.0], [2197.0, 749.0], [2196.0, 812.0], [351.0, 801.0]], ('元，利息从2014年7月1日计至2017年11月30日；2014年', 0.9473560452461243)]
[[[351.0, 863.0], [2200.0, 878.0], [2200.0, 941.0], [351.0, 926.0]], ('油贴1800000元从2015年7月1日至2017年11月30日；2015', 0.9379001259803772)]
[[[351.0, 1122.0], [528.0, 1122.0], [528.0, 1177.0], [351.0, 1177.0]], ('30日。', 0.9758462905883789)]
[[[480.0, 1240.0], [2200.0, 1255.0], [2200.0, 1317.0], [479.0, 1302.0]], ('2.原告主张2006年1月24日购买4辆美的空调车投入26', 0.9379667639732361)]
[[[348.0, 1365.0], [2197.0, 1380.0], [2196.0, 1443.0], [347.0, 1428.0]], ('路运营，直到2015年10月14日报废，被告已补偿原告燃油补', 0.9609884023666382)]
[[[344.0, 1490.0], [2189.0, 1506.0], [2188.0, 1568.0], [343.0, 1553.0]], ('贴至2012年12月，剩余年限应补燃油补贴385800元，资金占', 0.9741359949111938)]
[[[344.0, 1616.0], [2197.0, 1631.0], [2196.0, 1694.0], [343.0, 1679.0]], ('用利息63609元（分别从第二年7月1日起至2017年11月30', 0.9798681735992432)]
[[[345.0, 1737.0], [578.0, 1746.0], [576.0, 1812.0], [343.0, 1803.0]], ('日止）。', 0.9680050015449524)]
[[[476.0, 1867.0], [2189.0, 1878.0], [2189.0, 1941.0], [475.0, 1930.0]], ('被告认为钦州到钦州港的线路属于县际客运班线，根据钦州', 0.9517157673835754)]
[[[348.0, 1992.0], [2178.0, 2007.0], [2177.0, 2066.0], [347.0, 2051.0]], ('市道路运输管理的文件规定只有公交模式的经营才能得到油贴。', 0.9879602789878845)]
[[[480.0, 2118.0], [2189.0, 2129.0], [2189.0, 2192.0], [479.0, 2180.0]], ('一审法院认为，根据钦州市道路运输管理处《关于进一步规', 0.9592246413230896)]
[[[340.0, 2243.0], [2204.0, 2254.0], [2204.0, 2317.0], [340.0, 2306.0]], ('范钦州港线路客车营运秩序的通知》（钦市运输【2011］58号）', 0.8801027536392212)]
[[[340.0, 2369.0], [2189.0, 2384.0], [2188.0, 2443.0], [339.0, 2428.0]], ('确定钦州港线路按客车模式实施管理。根据国务院《关于城市优', 0.9212595224380493)]
[[[336.0, 2494.0], [2189.0, 2509.0], [2188.0, 2572.0], [336.0, 2557.0]], ('先发展公共交通的指导意见》（国发【2012］64号）及《钦州', 0.9499342441558838)]
[[[336.0, 2616.0], [2189.0, 2631.0], [2188.0, 2694.0], [336.0, 2678.0]], ('市本级2012年度农村道路客运、城市出租车和城市公交成品油', 0.9472535848617554)]
[[[332.0, 2741.0], [2193.0, 2756.0], [2192.0, 2819.0], [332.0, 2804.0]], ('价格改革中央补助资金补贴方案》的规定，原告主张的2006年', 0.9247215986251831)]
[[[332.0, 2867.0], [2193.0, 2882.0], [2192.0, 2944.0], [332.0, 2929.0]], ('购买4辆车投入26路营运的是钦州到钦州港的线路属于县际客', 0.9378551840782166)]
[[[332.0, 2992.0], [2185.0, 3007.0], [2185.0, 3070.0], [332.0, 3055.0]], ('运班线，不属于成品油价格补贴的范围。因此，原告请求被告支', 0.8999022245407104)]
[[[2038.0, 3258.0], [2193.0, 3258.0], [2193.0, 3313.0], [2038.0, 3313.0]], ('一9一', 0.7707895636558533)]

这种漏行的情况不是偶发，经常遇到。为了确定到底是没有检测到文字还是检测到文字却没有识别我也做了对比验证，我对同一张图片单独进行det检测，发现无论use_angle_cls设置为True还是False都可以检测到文字，基本可以确定是在rec识别时出了问题。

我们提供了AceIssueSolver来帮助你解答问题，你是否想要它来解答(请填写yes/no)?/We provide AceIssueSolver to solve issues, do you want it? (Please write yes/no):yes

[SWHL]

猜测是cls模型把一些文本行方向分错了，导致后续识别效果变差。