ComfyUI 图像局部重绘的三种基础方法
ComfyUI 图像局部重绘的三种基础方法
在AI绘画领域,ComfyUI是一个功能强大的工具,它提供了多种图像局部重绘的方法。本文将详细介绍三种基础的局部重绘方法:VAE内补编码器、设置Latent噪波遮罩和使用ControlNet。通过具体的实例和工作流图,帮助读者更好地掌握这些技术。
局部重绘的三种思想
首先介绍一下局部重绘的三种方法:分别是 VAE 内补编码器 、 设置 Latent 噪波遮罩 、 使用 ControlNet 。
需要说明的是,这三种方法没有优劣之分,它们有着各自的使用场景,选择哪种方法要根据具体需求来定。
VAE 内补编码器
这里,我们把女孩的牛仔短裤,重绘成红色的短裙。按照惯例,都是先加载默认工作流,然后在其基础上进行修改。下面是具体的工作流:
关键步骤是使用了一个 VAE 内补编码器节点,加载一张图片,手动绘制遮罩,然后将原图像和遮罩都与VAE内补编码器
连接起来。VAE 如果没有特殊需求,可以直接由大模型输出。最后再把输出的 Latent 连接到 K 采样器的输入。 正面提示词,要填写我们希望绘制的效果。
可以看到生成的结果,就是把原图中遮罩部分进行了重绘,即把牛仔短裤重绘成了红色的短裙。
VAE 内补编码器中
的遮罩延展,可以理解为 PS 中的羽化, 一般保持默认的 6 即可。
原理:
VAE 内补编码器,需要将原图和蒙版一起传入,这种重绘方式的原理是蒙版区域为空白潜空间,生成的图像跟之前蒙版的内容没有任何关系,只是参考了原图的风格,它适合做一些比较大的调整,重绘一个完全不相干的东西。
多尝试几次,甚至会发现,该方法重绘可能会绘制一些奇怪的画面,要像达到比较好的效果,有抽卡的成分,所以在使用这种局部重绘时,最好是用在不是微调的场景。
注意:不建议降低降噪值,原因:数值越低,越接近原图,而蒙版区域又是空白潜空间,就没了参考了。会出现没有绘制的效果。
Latent 噪波遮罩局部重绘
在不想大调整,只想局部微调的时候,使用 Latent 噪波遮罩的方法就非常适合,这种重绘方式的原理是蒙版区域参考原蒙版的内容,重绘区域还参考了原图,能更好地理解需要重新生成的内容。
我们给女孩重绘会上一个眼镜,下面是具体的工作流:
这里设置噪波幅度是有用的,当设置的太小,就会保持跟原图差不多。具体设置多少,还是需要根据效果不断调整。
ControlNet 局部重绘
ControlNet 重绘,可以理解为使用更加“专业”的方式(但不一定更加适合需求)提取原图的某种特征,对绘制进行更精准的控制。前面有一篇文章专门讲了 ControlNet,根据 ControlNet 不同的模型,可以提取图像的轮廓图、深度图、人物姿态等各种特征。
给出传送门:ComfyUI 基础教程(三) —— 应用 Controlnet 精准控制图像生成
总结
最后总结一下三种局部重绘方法的特点:
VAE 内补编码器,自由度高,适合大面积的局部替换,缺点是需要抽卡。
设置 Latent 噪波遮罩,和原图完美融合,适合局部微调,生成相似的内容。
ControlNet,适合精准控制图像绘制,把握整体构图。