Skip to content

[Bad Case]: 关于jetson agx orin推理的问题 #331

@alex2robotic

Description

@alex2robotic

Description / 描述

我使用jetson agx orin 在llama.cpp上推理4.1_Q4_K_M的模型, nvpmodel + jetson_clocks 全开 但是只能得到25t/s的输出速度,这和qwen3 8b以及0528 8b同等量化条件下的速度没什么区别,官方给出的是>50t/s的评估结果,求教官方测试jetson时的环境是如何的?

十分感谢!

Case Explaination / 案例解释

No response

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions