接口可以支持gpu的高效率batch推理吗

[cmathx]

每次只处理一张图片，性能很低，在GPU场景下是否支持batch推理，即一次请求同时处理多张图片？

[GreatV]

@cmathx 你愿意提交一个PR来支持这个功能吗

[cmathx]

我手写了一版，没有完全达到并发的效果。
看到paddle官方这边提供了多线程支持
https://github.com/PaddlePaddle/FastDeploy/blob/develop/tutorials/multi_thread/python/pipeline/multi_thread_process_ocr.py

[cmathx]

这里有一个问题。cpu启动了多线程，top -H监控查看确实是ok的。怀疑提交的predict_image，gpu没有做并行。