Skip to content

关于导出vllm的问题 #387

@djm012

Description

@djm012

您好,我在做Qwen-VL-7B量化的时候,使用awq_w_only.yml做4bit量化语言层的参数,导出设置了save_vllm=True来保存真实量化模型,但是为什么导出的模型要比原始模型大?(导出的模型28G,原始模型16G)

Image

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions