FastDeploy Serving （Triton）部署方式推理速度非常慢

[miknyko]

希望官方能够更详细的测试fastdeploy serving的方式启动的服务到底推理速度如何。

根据我在多种英伟达GPU平台测试的结果，使用triton的部署方式是比纯api调用的响应时间慢至少8到10倍（无并发，单次推理）。我觉得有以下几方面原因

1. OCR的ensemble写得太复杂，step多了之后，队列太多，会造成大量overhead，造成推理时间大量浪费在IO上面。
2. 目前提供的镜像，还是根据triton 2021年10月的镜像打的，落后太多。

如果测试出来真的很慢，建议取消这个功能，或者不要宣传fastdeploy serving“高并发，低延迟”，非常误导