大语言模型LLM基础：推理/不同模型/量化对显存、推理速度和性能的影响

大语言模型LLM基础：推理/不同模型/量化对显存、推理速度和性能的影响

引用

CSDN

1.

https://m.blog.csdn.net/weixin_45498383/article/details/140058934

通过本文，你将了解以下几个方面的内容：

• 要运行一个LLM需要多少显存？（你的GPU可以运行多大LLM？）
• 不同LLM推理速度如何？
• 量化对显存、推理速度和性能的影响？
• vLLM、DeepSeed等工具的加速效果如何？
• 上下文、batch-size对显存和推理的影响？

本文内容和测试数据主要来自Qwen，零一万物，Nvidia等官方材料（相关文档请查看参考资料部分）。

1. 不同参数量LLM推理需要多少显存？

实验设置：batch-size = 1
部分模型只推荐GPU，没有显存数据。

1.1 低配使用（计算资源有限）

Int4量化，约2K上下文

1.2 标配使用（性能与资源平衡）

Int8量化，4K、6K上下文

1.3 高配使用（高级用法，性能优先）

性能优先，不量化，数据格式FB16，32K上下文

若以上内容无法帮助你做出判断，你可以参考Qwen官网更详细的数据：Qwen速度基准

2. Batch Size和量化对显存的影响

要点：

• Batch Size增加，显存占用也会增加。
• 量化可以节省显存：通过下表中的数据可以看到，6B模型在float16时占用12G显存，8bit量化占用7G，4bit量化只需要4G显存。

数据来源：Yi-6B-Chat

3. 上下文长度对显存和推理速度的影响

要点：

• 上下文越长，推理速度越慢。
• 显存占用也会增加。

数据整理自Qwen2官方测试报告。

4. 量化对推理速度的影响

要点：

• 量化后推理速度会变慢或持平。
• 当量化影响到GPU使用量时，例如从多张GPU降低到单GPU，推理速度会明显变快。

Qwen2模型的测试结果如下：

• Qwen2-0.5B模型：量化模型速度变慢。
• Qwen2-1.5B模型：量化与fb16相比速度持平。
• Qwen2-7B模型：稍微变慢，使用vLLM时，量化版本更快。
• Qwen2-72B模型：速度变快（尤其是Int4量化后，从2GPU变为1GPU后推理速度明显变快），但使用长context时（120k），量化版本推理速度变慢。

详细结果请访问：Qwen速度基准

5. 参数量对推理速度的影响

单位：tokens/s

模型：Qwen2系列，上下文6K，FB16模型

6. vLLM、DeepSeed、CTranslate2等工具推理速度如何？

• 与Transformers相比，使用vLLM、DeepSeed等工具加速，推理速度可以提升2到5倍。
• DeepSeed、vLLM、CTranslate2三个加速工具中，CTranslate2的表现更好，尤其是batch size为1时。

7. 量化对模型性能的影响

• Int8量化模型性能与float16格式差别不大。量化文档
  
• Int4量化模型与float16模型相比，精度损失在1-2个百分点左右。（Yi模型与Baichuan2模型有类似结论）Baichuan2

8. 常见LLM用GPU参考

参考资料

1. Qwen速度基准
2. Qwen-1_8B-Chat
3. Qwen-7B-Chat-Int8
4. Qwen-14B-Chat-Int8
5. Yi-6B-Chat
6. GLM-130B量化
7. Nemotron-4-340B-Instruct
8. DeepSeek-V2-Chat
9. Zenn文章
10. Baichuan2