单显卡 OCR 并发性能问题

[pearl88]

单显卡 OCR 并发性能测试，增加实例数量，推理耗时增长，甚至翻倍，性能严重下降。ONNX、 高性能推理插件问题较为明显，使用 Pytorch 推理性能最佳。

测试场景：

1. 显卡型号：NVIDIA GeForce RTX 4090；模型：OCR_server
2. 初始化 TextSystem ，执行检测、识别。
3. 依次创建多个实例，同时进行推理。

ONNX Runtime 推理引擎（V4 模型）：

OCR 服务实例数量	检测耗时	识别耗时
1	36.88	650.69
2	51.86	814.05
3	68.45	954.53
4	86.32	1171.28
5	110.18	1406.63

Paddlex 高性能推理插件（V5 模型）：

OCR 服务实例数量	检测+识别耗时
1	740
2	798
3	922
4	1000
5	1111

Pytorch 推理（V4 模型）：

OCR 服务实例数量	检测耗时	识别耗时
1	23.27	193.16
2	24.19	217.82
3	24.86	249.25
4	26.74	275.65
5	27.89	337.11

[Bobholamovic]

你好，感谢反馈，请问可以提供可复现的例子吗？例如，对于“Paddlex 高性能推理插件（V5 模型）”这种情况，服务的代码是什么样的，如何实现多实例，以及如何测试性能指标？

[pearl88]

有可能是和模型有关吗，预测每个边界框/每个字符的平均耗时是为了排查什么问题呢

[Bobholamovic]

如果其他的因素都确保一样，只是更换模型，那么我想就比较可能是和模型有关了。就模型而言，我能想到的一个可能的影响因素是模型的精度/预测效果，比如一个模型预测出100个框，那么后处理也需要处理100个框，通常模型推理在GPU上进行，而前后处理在CPU上串行处理，考察每个边界框的平均耗时有助于我们判断耗时异常的是哪个方面。不过我又想了想，我刚才所说的方式好像也不太直观，是不是可以考虑分别统计一下前后处理以及模型推理的耗时？

[pearl88]

第一次的测试就是只统计了检测、识别推理（不包括前后处理）的耗时，再次使用最新环境（同上次测试），重点统计了一下检测模型的前后处理以及检测模型执行推理的耗时。

官方 V5：

OCR 服务实例数量	检测前处理耗时	检测推理耗时	检测后处理	推理总计耗时
1	13	15	13	381
2	13	17	13	395
3	14	25	13	450
4	14	30	13	508

官方 V4：

OCR 服务实例数量	检测前处理耗时	检测推理耗时	检测后处理	推理总计耗时
1	14	17	14	272
2	14	25	14	353
3	14	38	14	501
4	14	52	14	600

[Bobholamovic]

看起来基本可以确定是模型推理的耗时随着并发数增加而显著增加。我建议也可以到paddle框架提一个issue，那儿的维护人员可能能给出推理框架方面更专业的建议～

[pearl88]

@Bobholamovic 好的，感谢您的支持~