浮点数格式：FP16, BF16, FP32之间的区别与LLM显存占用

浮点数格式：FP16, BF16, FP32之间的区别与LLM显存占用

引用

CSDN

1.

https://m.blog.csdn.net/u012856866/article/details/145949939

浮点数格式在深度学习和大语言模型（LLM）中扮演着关键角色。不同的浮点数格式（如FP16、BF16和FP32）在精度和存储空间之间存在权衡。本文将详细探讨这些格式的差异，并通过实测数据展示它们在LLM显存占用方面的表现。

1. FP16

FP16（也称为float16）是一种半精度浮点数格式，使用16位二进制（16 bit，2 byte）来表示浮点数。其结构如下：

• 符号位（Sign）: 1位，0表示正数，1表示负数。
• 指数位（Exponent）: 5位，范围从00001（1）到11110（30）。引入偏置值15，使得指数范围变为-14到+15。
• 尾数位（Fraction）: 10位，实际精度为11位（隐含首位1）。

FP16能表示的数值范围是[-65504，65504]。在PyTorch中，可以通过torch.finfo(torch.float16)查看其详细信息：

torch.finfo(torch.float16)
# 结果
finfo(resolution=0.001, min=-65504, max=65504, eps=0.000976562, smallest_normal=6.10352e-05, tiny=6.10352e-05, dtype=float16)

2. BF16

BF16（也称为bfloat16）是Google为机器学习设计的一种浮点数格式，同样使用16位二进制。其结构与FP16不同：

• 符号位（Sign）: 1位。
• 指数位（Exponent）: 8位，偏置值为127。
• 尾数位（Fraction）: 7位，实际精度为8位（隐含首位1）。

BF16的数值范围是[-3.40282e+38，3.40282e+38]。在PyTorch中，可以通过torch.finfo(torch.bfloat16)查看其详细信息：

torch.finfo(torch.bfloat16)
# 结果
finfo(resolution=0.01, min=-3.38953e+38, max=3.38953e+38, eps=0.0078125, smallest_normal=1.17549e-38, tiny=1.17549e-38, dtype=bfloat16)

3. FP32

FP32（也称为float32）是单精度浮点数格式，使用32位二进制。其结构如下：

• 符号位（Sign）: 1位。
• 指数位（Exponent）: 8位，偏置值为127。
• 尾数位（Fraction）: 23位，实际精度为24位（隐含首位1）。

FP32的数值范围是[-3.40282e+38，3.40282e+38]。在PyTorch中，可以通过torch.finfo(torch.float32)查看其详细信息：

torch.finfo(torch.float32)
# 结果
finfo(resolution=1e-06, min=-3.40282e+38, max=3.40282e+38, eps=1.19209e-07, smallest_normal=1.17549e-38, tiny=1.17549e-38, dtype=float32)

4. 不同精度的显存占用

以NVIDIA A40 48G显卡为例，测试LLaMA-2-7B模型在不同精度下的显存占用情况。模型默认保存精度为float16。

浮点数格式对比图

FP16:

BF16:

FP32:

测试代码

import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 打印版本号
print("transformers version:", transformers.__version__)
print("torch version:", torch.__version__)

# 检查系统中是否有可用的 GPU
if torch.cuda.is_available():
    # 获取可用的 GPU 设备数量
    num_devices = torch.cuda.device_count()
    print("可用 GPU 数量:", num_devices)

    # 遍历所有可用的 GPU 设备并打印详细信息
    for i in range(num_devices):
        device = torch.cuda.get_device_properties(i)
        print(f"\nGPU {i} 的详细信息:")
        print("名称:", device.name)
        print("计算能力:", f"{device.major}.{device.minor}")
        print("内存总量 (GB):", round(device.total_memory / (1024**3), 1))
else:
    print("没有可用的 GPU")

# 加载模型
model_name = "/path/to/llama-2-7b-hf" # 你模型存放的位置
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="cuda:0", torch_dtype=torch.float16)

# 计算模型的显存占用
memory_allocated = torch.cuda.memory_allocated(device='cuda:0')
# 将字节转换为更常见的单位（GB）
memory_allocated_gb = memory_allocated / (1024**3)
print("Memory allocated by the model in GB:", memory_allocated_gb)

# 结果
Memory allocated by the model in GB: 12.582542419433594

测试结果

• float16: 12.6GB
• bfloat16: 12.6GB
• float32: 25.2GB

5. 不同精度之间的转换

在加载模型时，可以通过PyTorch内置的转换函数实现不同精度之间的转换：

5.1 float16转化为float32

# 以float16加载
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="cuda:0", torch_dtype=torch.float16)
# 转为float32
model.float()

5.2 float32转化为float16

# 以float32加载
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="cuda:0", torch_dtype=torch.float32)
# 转为float16
model.half()

参考资料

• LLM大模型之精度问题（FP16，FP32，BF16）详解与实践
• LLM大模型之不同精度下显存占用与相互转换实践
• LLM的不同精度详解和显存占用，FP16，FP32，BF16