学stablediffusion你一定要懂的ControlNet_简单使用笔记
学stablediffusion你一定要懂的ControlNet_简单使用笔记
一、ControlNet能做到的事
- 固定构图
- 描绘轮廓
- 精准控线
- 材质区分
- 深度层级
二、界面操作
预处理器选定后，需要点击红框中的“运行和预览”，箭头所指的位置才会显示；
控制权重：越大，则和原始底图的结构越接近；
起始步数，建议默认为0，表示从一开始，ControlNet介入使用生成；若修改默认值，会使画面出现比较大的变动；
0.5，表示从图片绘制进程的50%处介入；
完结步数，建议0.6-1，可以给AI一点想象空间；
控制模式，不同预处理器选择也不同，具体如下：（以下仅供参考，底图、提示词参数权重也会影响控制）
**Lineart，使用更注重提示词**，出图稳定；
**Scribble/Sketch,使用更注重提示词、更倾向于让ControlNet自由发挥**，均衡模式稍弱一些；
- 缩放模式，会在导入的底图和生成的图片尺寸不一致时，发挥作用；
拉伸，即仅调整大小；
裁剪，即裁剪后缩放；（一般选择此项，以保证图片的准确性）
填充，即缩放后填充空白；
三、预处理器分类（以下截图的是lib中对应的名字）
- 线稿轮廓类
Canny(硬边缘)、MLSD（直线）、Lineart(线稿)、SoftEdge(软边缘)、Scribble/Sketch(草图)
① Canny(硬边缘)
Canny边缘检测算法能够检测出原始图片中各对象的边缘轮廓特征，提取生成线稿图来作为SD模型生成时的条件
② MLSD（直线）
MLSD是一种直线线条检测算法，通过分析图片的线条结构和几何形状来构建出建筑外框，它对于提取具有直线的轮廓非常有用，但是对人或其它有曲线的物体边缘提取效果很差。
③Lineart(线稿)
与Canny相似，也是线稿处理，可以检测出输入图像中的线稿信息。识别线稿起来比Canny更加精细，识别能力更多一些，出图效果普遍比Canny好很多。
④ SoftEdge(软边缘)
SoftEdge算法的主要作用是检测图像的软边缘轮廓，相对比较宽松和柔性，让ai绘画的过程中有更大的灵活性与更多的创意发挥空间，但准确性也相对弱一些。
⑤Scribble/Sketch(草图)
Scribble/Sketch算法能够提取图片中曝光对比度比较明显的区域，生成黑白线稿，涂鸦成图，它不会识别很精细的地方，只是识别大轮廓，出图的质量普遍较高，适用于非常简单的线稿生成图片。
- 图像优化类
Inpaint局部重绘、InstructP2P、Tile(分块)
①局部重绘
Inpaint局部重绘算法与图生图中的局部重绘操作一样，使用mask蒙版对需要重绘区域进行遮盖，然后进行局部图像修改。
② InstructP2P
InstructP2P，是一个根据提示词修改图片的功能，例如白色衣服变成黑色衣服，但该指令只能解决叫简单的内容，出图效果非常不稳定，慎用。
③ Tile(分块)
Tile可以增加图片的分辨率，并且同时还可以增加图片的细节，让图片质感质量更好，是一个很好用的高清放大的功能，Blur相当于给图片加噪变模糊再生成图片，有点像图生图。
- 空间结构类
Depth(深度)、OpenPose(姿态)、Segmentation(语义分割)、NormalMap(法线贴图)
①Depth(深度)
Depth算法通过提取原始图片中的深度信息，能够生成和原图一样深度结构的深度图，其中预处理器图片颜色越浅（白）的区域，代表距离镜头越近；越是偏深色（黑）的区域，则代表距离镜头越远。
②OpenPose(姿态)
OpenPose算法包含了实时的人体关键点检测模型，如人脸、手、腿和身体等位置关键点信息，从而达到精准控制人体动作。除了生成单人的姿势，它还可以生成多人的姿势，此处还有手部骨骼模型，解决手部绘图不精准问题。
③ Segmentation(语义分割)
Segmentation主要通过对图片内容进行语义分割，可以区分画面色块。简单来说，根据上传的色块图片自动识别不同的颜色代表什么，然后每个物品都会有对应的颜色，ai新生成图片的时候，就会按照颜色来生成物品。比如，绿色 → 树 ，蓝色 → 水…
④ NormalMap(法线贴图)
NormalMap算法根据输入图片生成一张记录凹凸纹理信息的法线贴图，Depth主要是控制深度关系，这个更多的是控制图片的凹凸质感。
- 色彩调整类
Shuffle(随机洗牌)、Recolor(重上色)
①Shuffle(随机洗牌)
它会通过输入的参考图，把图片的风格迁移到新图片上，控制ai生成相似风格的图像。一般需要两个ControlNet来控制，一个是控制轮廓的底图，一个就是Shuffle控制风格。
②Recolor(重上色)
Recolor重新上色功能，启用此处理器后，导入图片，输入简单的提示词对颜色进行定义，即可对图片重新上色，常用于黑白图片上色。
- 风格迁移类
Reference(参考)、Revison、IP-Apapter
①Reference(参考)
类似MJ的垫图功能，根据参考图生成，画风相似的图片，但画面会不一样，主要是控制大致风格，也可以搭配线稿类ControlNet一起使用。
②Revison
Revison，图片提示词，该功能可输入一张图片当作提示词来进行绘画，适用于不会描写提示词的时候来使用。
③IP-Apapter
图像提示适配器，同样类似垫图操作，根据上传的图，包括不限于风格复刻、构图复刻、人物特征复刻等，也是AnimateDiff做ai动画时保持人物一致性的关键。
- T2I-Apapter(腾讯出品)
和ControlNet模型一样，能够控制条件控制SD模型生成图片的过程，是几种新型控制类型的集合，常见的sketch、canny、lineart、openpose、depth都可选择使用。
Instant_ID
ai换脸神器，可以根据一张图片的人脸做底图，在生成新图片的时候保持人脸一致，还可以多个图片融合。
SparseCtrl(稀疏控制)
SparseCtrl和动画搭配使用，可以应用于图像动画、关键帧插值、视频预测、深度图引导、素描生成视频、故事板生成等领域。
写在最后
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！
三、最新AIGC学习笔记
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。