FLUX LoRA模型详解：COMFYUI中的AI绘画新动力
FLUX LoRA模型详解：COMFYUI中的AI绘画新动力
FLUX LoRA模型是Black Forest Labs开发的新图像生成模型，由XLabs AI团队创建的flux-RealismLora增强了其逼真能力。此ComfyUI FLUX-RealismLoRA工作流由Leo Kadieff创建，将FLUX-1文本到图像模型与FLUX-RealismLoRA模型相结合。FLUX-RealismLoRA模型在逼真照片和提示的数据集上进行了训练，增强了FLUX-1的逼真能力。通过使用此FLUX-RealismLoRA工作流程，用户可以仅通过文本提示生成令人难以置信的逼真图像，而无需在每个提示中包含大量与逼真度相关的标记。
模型特点
模型非常小，仅有22M，但是模型是在精选的高分辨率逼真图像和文本标题的数据集上进行训练，FLUX-RealismLoRA模型用来引导FLUX-1模型生成类似于真实照片的图像：
- 详细的清晰度
- 逼真的纹理、阴影和光照
- 可信的比例和视角
- 自然的色彩调色板和色调
模型下载
- 打开civitai，https://civitai.com/models，选择筛选基础底模选择基础算法F1 D或者F1 S，即可筛选出FLUX的相关模型。
- 打开huggingface，https://huggingface.co/models?other=base_model:adapter:black-forest-labs/FLUX.1-dev，即可筛选出FLUX的相关模型。
- 打开网址，可以快速预览19种LORA模型。https://huggingface.co/spaces/multimodalart/flux-lora-the-explorer
使用方法
- 下载模型
下载FLUX-RealismLoRA模型，模型下载后名称为lora.safetensors，建议改为realism_lora.safetensors。此LORA模型不能商用。
- 下载UNET模型+ CLIP 模型+下载 VAE 模型
这里和Flux官方版模型下载相同UNET+CLIP+VAE模型。
- 使用工作流
一共9个节点，分组标注了中文，方便理解。建议在LIBLIB和本地电脑上使用这个工作流。
FLUX LORA模型文生图实操
- 加载模型
选择flux1-dev.safetensors或flux1-schnell.safetensors。接着加载CLIP模型：对于低内存使用，使用t5xxl_fp8_e4m3fn.safetensors；对于高内存，使用t5xxl_fp16.safetensors。clip2统一使用clip_l，类型选FLUX，接着加载VAE模型：使用ae.safetensors。最后加载FLUX lora模型并调整模型强度。
- 设置 CLIPTextEncode 节点
在节点的属性中输入您想要的文本提示词，以引导图像生成过程。
- 调整 EmptyLatentImage 节点
此节点创建大小和单词批量生图数量。其中ModelSamplingFlux节点设置模型采样系数，建议设置最小0.3，最大0.5。这里的设置大小也可以简化为1个节点，模型采样系数非必须。
- 设置参数
此节点设置引导参数，控制提示词的引导系数，取值2~5之间。通过调整K采样器节点的属性选择特定的采样算法（例如“euler”）；通过调整基础调度器节点的属性选择采样部署，调度算法，减噪系数。通过调整基础调度器节点的属性选择种子生成方式分为fixed（固定）、increment（递增）、decrement（递减）、randomize（随机）。固定的话数值不变，可以让图片保持在同一个基础上进行调整。一般选择随机，随机种是种子数字，数值是一串很长的数字会自动生成。
- 生成图像
点击网页上的“Queue Prompt”就可以一键出图。
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。