深度解析｜ComfyUI局部重绘的三种基础方法搭建和讲解
深度解析｜ComfyUI局部重绘的三种基础方法搭建和讲解
前言
本文将为大家介绍ComfyUI的局部重绘工作流。通过一些理论知识，帮助大家对ComfyUI的工作流和节点有更深的认知。局部重绘是AI艺术创作中的一个重要功能，可以让用户在保留原图某些部分的同时，重新生成其他部分。本文将详细讲解三种基础的局部重绘方法：VAE内补编码器、设置Latent噪波遮罩和使用ControlNet。
三种局部重绘的工作流和案例
3.2 VAE内补编码器局部重绘
本次实验的底模和clip文本编码器如下：
在这之前，先上传一张需要重绘的照片，然后画上蒙版，最后点击“save to node”，如下图：
然后我们需要对蒙版进行编码，将蒙版和图像一起上传到“VAE内补编码器”中，这种重绘方式的原理是蒙版区域为空白潜空间，生成的图像跟之前蒙版的内容没有任何关系，只是参考了原图的风格和感受，所以适合重绘一个完全不想干的东西，工作流如下：
其中“VAE内补编码器”中的遮罩延展，我们可以理解为photoshop中的“羽化”，一般设置为6即可，太小或者太大都不太合适，做了实验如下，可以很明显的发现，羽化=0时，猫咪的边缘很生硬，无法和画面如为一体，就像是“重新粘贴上去的”。
并且发现，VAE内补编码器的重绘方式确实适合做一些比较大的调整，做个人像试试：
确实蒙版区域的内容跟原来毫不相干，大概率有抽卡的成分，所以最好是用在那种不是微调的，效果还是不错的。
备注：不建议降低降噪值，否则就会出现下图这种情况，原因：数值越低，越接近原图，现在蒙版区域又是空白潜空间，所以就没了参考了，所以就这样了。
小结：
⚡️🔋⚡️
3.3 Latent噪波遮罩局部重绘
那如果不想大调整，只想微调局部，怎么办？
这时候Latent噪波遮罩的方法就非法管用，这种重绘方式的原理是蒙版区域参考了原蒙版内容，重绘区域还参考了原图，所以适合微调，能更好地理解需要重新生成的内容，工作流如下：
这里可以发现，因为这里的遮罩参考了原图，所以设置降噪幅度是有用的，
这是降噪=0.69 跟原图差的有点大，但怎么说还是跟原图保持了一个差不多的特征效果，不会很离谱。
换成降噪=0.55
再换成降噪=0.4
是不是很明显，降噪数值越低，跟原图越像，但提示词 “1 smiling girl”依然会表现出来，而上面的“VAE内补编码器”则有点不尽如人意了，就像是直接搞了张“膏药”，哈哈。
所以，可以试着让这个女孩戴上眼镜，其余保持不变，这就是典型的局部微调，看下效果：
再来一个，给鸟换个金色羽毛,是不是还不错。
小结：
3.4 ControlNet 局部重绘
到这，相信大家已经理解了最基本的两种重绘方式，现在有个新问题，当画面需要进行重大更改，但是又尽量不改变整体角色形象，比如人物外轮廓不变，在这个基础上进行重绘，又该如何呢？这里就需要用到ControlNet来传递原始图像的整体姿势。
如果想把之前的女孩变成老奶奶，属于重大修改，但不能改变画面形象，姿势，综合来看，controlnet的效果是最完美的，手部动作也还原了。三种处理方式的结果如下：
再比如换上另一个女孩，控制效果依然不错。
工作流如下：
这里理解ControlNet重绘适合整体的大修改，但是还能保留原图像特性，看官方文档的示例就比较清楚了：
ControlNet官方介绍：
https://github.com/lllyasviel/ControlNet-v1-1-nightly?tab=readme-ov-file
ControlNet 1.1 模型下载：
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
无法下载模型的，已经帮大家下载好了。
到这里，理解的都告诉大家了，其实这三种办法简单讲就是在重绘时对画面的控制程度越来越高，越来越精细，如果只想简单来个替换，第一种就很好，但是想造型还是那个造型，但得换个人，就得用ControlNet来精准控制。
4.初步了解ControlNet
上面的第三种局部重绘的方法，用到的是controlnet，那controlnet的基本内容和原理又是什么呢？这里先帮助大家做个简单的介绍，后面会单独出一期文章详细讲解controlnet，喜欢的可以先关注下。
ControlNet说简单点就是在原图框架上出类似的图，官网上大概有以下几种模型：深度、曲线、直线、姿势等，不太明白的话，换个看法，来个“映射”，学设计的大学高中都学过素描和水粉吧，比如画水粉的时候，每个人的起稿方式都不一样，有打线稿的，也有平涂的，说白了，cnotrolnet就是干这个事情的。
这些模型的具体用法和选择后面的文章做详细的介绍，这里了解个大概就差不多了。总结了COntrolNet的出图原理如下：
简单来说，controlnet解决的一个最大的问题是：单纯的关键词控制方式无法满足对细节精确控制的需要。
为了帮助大家更好地掌握 ComfyUI，花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因，精选几个章节，详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因，精选几个章节，详细版点击下方卡片免费领取