问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

ComfyUI基础教程:图像局部重绘的三种方法

创作时间:
作者:
@小白创作中心

ComfyUI基础教程:图像局部重绘的三种方法

引用
1
来源
1.
https://www.cnblogs.com/joy99/p/18487963

在AI绘画领域,ComfyUI是一个强大的工具,它提供了多种局部重绘的方法。本文将详细介绍三种基础的局部重绘技术:VAE内补编码器、设置Latent噪波遮罩和使用ControlNet。通过具体的实例和工作流图,帮助读者理解每种方法的特点和适用场景。

前言

如果你观察过其他人的工作流,可能会发现每个人使用的工具和方法都不尽相同。如果不深入理解这些方法背后的基本原理,可能会产生一种似懂非懂的感觉。本文将介绍ComfyUI中局部重绘的三种基础方法,帮助读者更好地掌握这一技术。

局部重绘的三种思想

局部重绘主要有三种方法:VAE内补编码器、设置Latent噪波遮罩和使用ControlNet。这些方法没有绝对的优劣之分,它们各自适用于不同的场景。让我们通过实际例子来详细讲解。

原图

VAE内补编码器

我们以将女孩的牛仔短裤重绘成红色短裙为例。按照惯例,我们先加载默认工作流,然后进行必要的修改。下面是具体的工作流图:

关键步骤是使用VAE内补编码器节点。首先加载一张图片,手动绘制遮罩,然后将原图像和遮罩都连接到VAE内补编码器。VAE如果没有特殊需求,可以直接由大模型输出。最后将输出的Latent连接到K采样器的输入。正面提示词需要填写我们希望绘制的效果。

VAE内补编码器中的遮罩延展可以理解为PS中的羽化效果。羽化值为0时,重绘部分的边缘会很生硬;设置太大则效果不佳,一般保持默认的6即可。

原理:VAE内补编码器需要将原图和蒙版一起传入,这种重绘方式的原理是蒙版区域为空白潜空间,生成的图像跟之前蒙版的内容没有任何关系,只是参考了原图的风格。它适合做一些比较大的调整,重绘一个完全不相干的东西。

需要注意的是,不建议降低降噪值。数值越低,越接近原图,而蒙版区域又是空白潜空间,就没了参考,可能会出现没有绘制的效果。

Latent噪波遮罩局部重绘

当需要进行局部微调而不是大调整时,使用Latent噪波遮罩的方法更为合适。这种重绘方式的原理是蒙版区域参考原蒙版的内容,重绘区域还参考了原图,能更好地理解需要重新生成的内容。

我们以给女孩重绘眼镜为例。下面是具体的工作流图:

设置噪波幅度是有用的,当设置的太小,就会保持跟原图差不多。具体设置多少,还是需要根据效果不断调整。

ControlNet局部重绘

ControlNet重绘可以理解为使用更加“专业”的方式(但不一定更加适合需求)提取原图的某种特征,对绘制进行更精准的控制。前面有一篇文章专门讲了ControlNet,根据ControlNet不同的模型,可以提取图像的轮廓图、深度图、人物姿态等各种特征。

传送门:ComfyUI基础教程(三)——应用Controlnet精准控制图像生成

总结

三种局部重绘方法的特点如下:

  1. VAE内补编码器:自由度高,适合大面积的局部替换,但需要抽卡。
  2. 设置Latent噪波遮罩:和原图完美融合,适合局部微调,生成相似的内容。
  3. ControlNet:适合精准控制图像绘制,把握整体构图。

通过本文的介绍,相信读者能够更好地理解ComfyUI中局部重绘的各种方法,并根据实际需求选择合适的技术手段。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号