模拟量化导出的模型包括量化参数吗

[artificialzjy]

问题描述：

1. modelopt_cuda_ext的作用是什么？可以自己调整modelopt_cuda_ext回落到CPU上计算吗？
2. 我尝试了对Llama-3-8B模拟量化，模型权重量化前后的权重大小没变，请问模拟量化还会保存哪些信息或者参数呢？
3. 模拟量化后的模型部署到推理框架（vLLM、SGLang）时，是如何进行量化的？

[chaos318]

有哪位大佬在某个版本上跑通量化qwen模型，并且可以在vllm部署或者可以离线transformers加载推理的么，求给一下版本，小学生试了好几个tag版本了，都分别有不同的问题

[cjluo-nv]

有哪位大佬在某个版本上跑通量化qwen模型，并且可以在vllm部署或者可以离线transformers加载推理的么，求给一下版本，小学生试了好几个tag版本了，都分别有不同的问题

What Qwen models have you tried? We have used modelopt to export FP8 and NVFP4 Qwen3 models, e.g. the ones uploaded here: https://huggingface.co/models?sort=trending&search=nvidia%2Fqwen3-

Also please share your command and logs if you hit issues.