大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度

大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度

引用

CSDN

1.

https://blog.csdn.net/linzhiji/article/details/138912632

GPTQ：针对GPT模型的训练后量化

GPTQ是一种4位量化的训练后量化（PTQ）方法，主要关注GPU推理和性能。该方法的核心思想是尝试通过最小化权重的均方误差将所有权重压缩到4位。在推理过程中，它会动态地将权重去量化为float16，以提高性能，同时保持较低的内存占用。

GPTQ常用的量化位数包括4位和8位。

GGUF：GPT生成统一格式

GGUF（以前称为GGML）是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。

AWQ：激活感知权重量化

AWQ（激活感知权重量化）是一种类似于GPTQ的量化方法。AWQ和GPTQ作为方法有几个不同之处，但最重要的是AWQ假设并非所有权重对LLM的性能都同等重要。也就是说，在量化过程中会跳过一小部分权重，这有助于减轻量化损失。因此，他们的论文提到与GPTQ相比，AWQ可以实现显著加速，同时保持相似甚至更好的性能。

AWQ常用的量化位数是4位，其精度通常比同级的GPTQ更高。

实验对比

以千问Qwen 7B模型为例，使用A4000 16G显存进行测试：

原始模型（未量化）

modeIdOrPath="Qwen/Qwen1.5-7B-Chat"
fType=torch.bfloat16
model = AutoModelForCausalLM.from_pretrained(
    modeIdOrPath,
    torch_dtype=fType,
    device_map='auto',
)

• 初始加载显存占用：17G
• HTTP请求（翻译中文）：Trump was always bothered by how Trump Tower fell 41 feet short of the General Motors building two blocks north.
• 平均速度：2-3秒
• 请求后显存占用：18G左右

带有flash_attention_2的原始模型

model = AutoModelForCausalLM.from_pretrained(
    modeIdOrPath,
    torch_dtype=fType,
    device_map='auto',
    attn_implementation="flash_attention_2"
)

• 初始显存占用：17G
• 速度：2-3秒，没有明显变化

GPTQ Int8量化模型

modeIdOrPath="Qwen/Qwen1.5-7B-Chat-GPTQ-Int8"

• 初始显存占用：11G
• 平均时间间隔：15秒，比非量化模型慢了不少
• 运行几个请求后显存占用：12.7G

参考资料

• 大语言模型量化方法对比：GPTQ、GGUF、AWQ - 知乎
• https://kaitchup.substack.com/p/fine-tuning-and-quantization-of-qwen15