【选择指南】揭秘：如何挑选适合Flux的完美GGUF？

【选择指南】揭秘：如何挑选适合Flux的完美GGUF？

Flux.1 Dev/Schnell是一款拥有120亿参数的强大AI模型，其FP16版本需要高达23GB的存储空间。通常需要高端GPU（如NVIDIA RTX 4090）才能高效运行。然而，大多数用户使用的都是RTX 4060、4070、4080或更早的30系列GPU。那么，如何在硬件资源有限的情况下运行这个模型呢？

量化技术简介

量化是一种让模型变得更小、更高效的技术。通过降低模型的精度，量化可以显著减少显存需求，而不会对输出质量造成太大影响。这就像压缩图片，虽然文件变小了，但人眼几乎看不出质量下降。

GGUF格式介绍

GGUF是一种专门用于存储量化模型的文件格式。它在存储效率和运行性能上都进行了优化，使得量化模型更容易加载和运行，即使在显存较少的硬件上也能流畅使用。

如何选择合适的GGUF模型

要选择合适的Flux.1 GGUF模型，你需要考虑以下几点：

1. 显存容量：你的GPU有多少显存？
2. 量化级别（Q4、Q5、Q8等）：这决定了模型性能和输出质量之间的权衡。
3. 你的具体需求：根据你的硬件和期望的质量，可能需要做出一些妥协。

GGUF量化级别说明

量化级别指的是模型精度被降低的程度。例如，将模型从FP16压缩到Q8、Q6甚至Q4，可以显著减少其大小和运行所需的显存。不同的量化级别（如Q2到Q8）代表了不同程度的压缩，会影响模型的质量和显存占用。

*如果你在Hugging Face下载页面上看到Q2-Q8量化选项和一个flux1-dev-F16.gguf文件，可以将其理解为FP16模型封装在GGUF格式中。这保留了FP16的效率，同时使模型更容易分享并与不同工具兼容。由于它需要与FP16相同的24GB显存，因此未包含在表格中。

如何估算显存需求

你可以根据模型的文件大小粗略估算所需的最小显存。例如，如果你的GPU有12GB显存，理论上可以运行Q5或Q6模型。但请记住，系统本身也需要占用一些显存，因此你可能需要选择更低的量化级别，比如Q4，以确保稳定运行。建议测试不同版本，找到最适合你设备的配置。

Flux.1 Dev GGUF Q2-Q8版本列表

此表格基于City69的Flux.1 Dev GGUF的版本列表。

NVIDIA显卡上的显存芯片

使用City96的Flux.1 Dev GGUF

开源的Flux社区有多个贡献者创建了不同的量化模型。本文重点介绍City69的Flux.1 Dev/Schnell GGUF，它支持ControlNet和LoRA。需要注意的是，它不包含CLIP或VAE，因此你需要单独下载这些组件。如果你使用ComfyUI，还需要相应的GGUF工作流。

注意：Flux需要两个CLIP模型——clip_l和t5xxl。如果你的显存有限，可以考虑使用t5xxl_fp8_e4m3fn。高显存用户则可以使用t5xxl_fp16。

GGUF模型

1. City69的Flux.1 Dev
2. City69的Flux.1 Schnell

CLIP模型

1. clip_l.safetensors
2. t5xxl_fp8_e4m3fn.safetensors（低显存适用）
3. t5xxl_fp16.safetensors（高显存适用）

VAE模型

1. ae.safetensors

ComfyUI工作流

1. City96-ComfyUI GGUF
2. OpenArt — GGUF ComfyUI工作流

结论

选择合适的Flux.1 GGUF模型主要取决于你的显存容量。量化提供了一种有效的方式来优化硬件使用，让你无需购买最昂贵的GPU也能运行强大的模型。确保仔细评估你的GPU规格和需求，找到最适合的量化版本。

参考链接

1. 量化视觉指南
2. Hugging Face — GGUF