问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

ComfyUI进阶篇:ComfyUI核心节点详解

创作时间:
作者:
@小白创作中心

ComfyUI进阶篇:ComfyUI核心节点详解

引用
1
来源
1.
https://www.cnblogs.com/LIU-QiuXue/p/18288764

在AI图像生成领域,ComfyUI以其强大的功能和灵活的工作流设计而备受关注。本文将深入介绍ComfyUI中的六个核心节点,帮助读者系统地掌握这些节点的功能、参数设置及应用场景。通过本文的学习,你将能够更好地运用ComfyUI进行图像生成和处理。

Upscale Latent节点

该节点用于在图像生成过程中放大潜在空间的图像。这是一个常见的操作,用于提高生成图像的分辨率,保持细节并减少失真。

输入:

  • Samples:传入的原始潜空间图像

输出:

  • LATENT:输出尺寸调整之后的潜空间图像

参数:

  • upscale_method:选择像素填充的方法
  • width:调整后潜空间图像的宽度
  • height:调整后潜空间图像的高度
  • crop:选择是否对图像进行裁剪

注意:使用潜空间图像的方法并不能完美融合图像,通过VAE解码后可能会损坏图像。正确的做法是使用KSampler采样器进行二次采样,以获得更美观的图像。

应用场景

  • 细节增强:在图像生成和编辑过程中,提高图像的分辨率以增强细节。
  • 质量提升:用于低分辨率图像的放大,提高整体图像质量。
  • 优化生成过程:在生成高分辨率图像时,通过放大潜在空间,减少直接生成高分辨率图像带来的计算负担。

LatentCompositeMasked节点

该节点用于在图像生成过程中,通过掩码在潜空间中合成多个潜在图像,这一节点在需要将不同来源的图像元素组合在一起时非常有用。

输入:

  • destination:底层潜空间图像
  • source:上层潜空间图像
  • mask:使用mask对上层潜空间图像进行分割

输出:

  • LATENT:输出图层叠加后的潜空间图像(和前面latent使用同一VAE解码)

参数:

  • x:表示粘贴区域的x坐标(ComfyUI坐标原点位于左上角)
  • y:表示粘贴区域的y坐标(ComfyUI坐标原点位于左上角)
  • resize_source:表示是否对蒙版区域进行分辨率调整

应用场景

  • 图像修复:通过合成不同来源的图像部分来修复图像中的缺陷。
  • 风格迁移:在保持整体风格一致的情况下,合成不同风格的图像元素。
  • 复杂合成:在潜空间中实现复杂的图像合成,以避免图像空间合成带来的边缘和融合问题。

Latent Composite节点

该节点用于在潜空间中合成多个潜在图像,帮助在生成图像时灵活地组合不同来源的图像元素。

输入:

  • samples_to:接收叠加的潜空间图层之一(该参数传入的图片为图层底层)
  • samples_from:接收叠加的潜空间图层之一(该参数传入的图片为图层上层)

输出:

  • LATENT:输出图层叠加后的潜空间图像

参数:

  • x:上层图层叠加位置的的x坐标(ComfyUI中坐标原点为左上角)
  • y:上层图层叠加位置的的y坐标(ComfyUI中坐标原点为左上角)
  • feather:调整边缘的羽化程度

上图示例设置feather为256可以看到上层图层的边缘有羽化,设置y坐标为336,粘贴位置向下偏移。

应用场景

  • 图像混合:将多个图像的特征进行混合,创造出具有多种风格或元素的图像。
  • 风格迁移:在保持整体图像内容一致的情况下,合成不同风格的潜在图像。
  • 细节增强:通过合成多个潜在图像,增强图像的细节和质感。

Set Latent Noise Mask节点

该节点用于在潜空间图像生成过程中设置噪声掩码,以便对图像的特定区域施加不同程度的噪声。这可以用于控制生成图像中的细节和随机性,特别适用于需要对图像的某些部分进行精细控制的情况。

输入:

  • samples:接收传入的潜空间图像
  • mask:接收传入的蒙版信息

输出:

  • LATENT:输出带有蒙版信息的潜空间图像

Tips:上图中的火焰与原图的融合度还不是很高,如果再加上高清放大的节点看起来会更加的自然。

应用场景

  • 图像修复:在图像的特定区域施加噪声,以修复图像中的缺陷或不一致。
  • 细节增强:通过噪声掩码控制细节的生成,提高图像的整体质量。
  • 风格特化:在保持整体风格一致的情况下,对图像的不同部分进行特化处理。

Load LoRA节点

该节点用于加载预训练的LoRA模型,并将其应用到潜在空间图像生成过程中。LoRA模型是一种轻量级的、适用于微调的模型,可以在不改变基础模型参数的情况下,增强生成模型的特定功能或风格。

输入:

  • model:加载一个基础生成模型的大模型(lora的训练会使用一个大模型底模,对应的底模效果最好)
  • clip:输入与生成图像相关的文本描述或其他信息

输出:

  • MODEL:输出修正后的大模型
  • CLIP:输出修正后的CLIP模型

参数:

  • lora_name:需要使用到的lora模型(配置好路径文件,模型可以自行选择)
  • strength_model:设置LoRA模型对生成图像的影响强度(数值越高,LoRA模型对生成图像的影响越大,可以设置为负值)
  • strength_clip:设置LoRA模型对与文本描述相关信息的影响强度(数值越高,LoRA模型对文本描述相关部分的影响越大,可以设置为负值)

应用场景

  • 风格迁移:通过加载不同风格的LoRA模型,将特定风格应用到生成图像中。
  • 功能增强:利用LoRA模型增强基础生成模型的特定功能,如细节增强、特定对象生成等。
  • 模型微调:在保持基础模型稳定性的情况下,通过LoRA模型进行微调,实现更为精细的图像生成。

LoRA示例工作流

熟练使用以上节点,你就可以搭建有关Lora的工作流了。

这里使用SD1.5的大模型,使用黑晶对应的lora,设置潜空间图片为1024*215进行扩散,提示词中加入Lora模型对应的引导词,从而获得最终图像:

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号