使用ONNX推理的耗时

[zhuitaiyang]

你好，想请教一下使用sam2_tiny的onnx模型进行推理的耗时是多少？

[lyxlplhy]

你好，想请教一下使用sam2_tiny的onnx模型进行推理的耗时是多少？

我这儿测试f16精度在3060上大概一次推理需要70ms

[zhuitaiyang]

https://github.com/user-attachments/assets/1d529aae-4bb6-43eb-bfad-8f52cc7fa979
感谢回答，再请教一下，我看官方项目中的sam2_tiny模型的FPS可以高达90，除了是使用A100进行推理的，还有什么原因让推理的速度这么快吗？是因为使用了torch带的编译模型的工具吗？

[lyxlplhy]

https://github.com/user-attachments/assets/1d529aae-4bb6-43eb-bfad-8f52cc7fa979 感谢回答，再请教一下，我看官方项目中的sam2_tiny模型的FPS可以高达90，除了是使用A100进行推理的，还有什么原因让推理的速度这么快吗？

单纯的因为是A100

[zhuitaiyang]

好的，感谢回答