Stable Diffusion基础：ControlNet之线稿成图

Stable Diffusion基础：ControlNet之线稿成图

ControlNet是Stable Diffusion的一个强大插件，它允许用户通过线稿图来控制图像生成的过程，从而实现更精确的构图和细节控制。本文将详细介绍ControlNet中四种常用的线稿模型：Canny、Lineart、SoftEdge和Scribble，以及它们的具体使用方法和注意事项。

安装ControlNet

在开始使用ControlNet之前，需要确保已经正确安装了该插件。如果尚未安装，请按照官方文档的指引进行安装。

使用方法

Canny

Canny模型基于精细的边缘检测，能够准确还原图片的结构和特征。Canny边缘图中的线条没有粗细、深浅的区分。

使用Canny模型时，建议选择现实视觉的大模型（如realisticVisionV51），并根据需要选择是否开启面部修复功能。以下是Canny模型的具体设置步骤：

1. 展开ControlNet控制面板。
2. 在Unit 0中上传一张需要提取边缘的图片。
3. 勾选“启用”，启用当前ControlNet Unit。
4. 勾选“完美匹配像素”，自动设置预处理器的分辨率。
5. 勾选“允许预览”，这样就可以预览边缘检测的效果。
6. 选择“Canny”。
7. 预处理器和模型会自动加载，暂时不更改它们。
8. 控制权重：ControlNet模型在生成图片时的权重，降低这个权重，线稿对绘图的约束就会变弱。
9. 启动控制的步数：Canny介入的时机。介入时机越早，越能保证构图依照边缘图，一般从0开始。
10. 结束控制的步数：Canny退出的时机。退出时机越晚，细节保留程度越大，如果要多变换一些细节，可以提前退出。
11. Canny Low Threshold：去掉过细的线段。大于低阈值的线段被认定为边缘。
12. Canny High Threshold：去掉零散的线段。大于高阈值的线段被认定为强边缘，全部保留；高阈值和低阈值之间的线段认定为弱边缘，只保留强边缘相邻的弱边缘。
13. 控制模式：ControlNet的通用设置，以提示词为主，还是以ControlNet模型为主。
14. 缩放模式：ControlNet的通用设置，参考图与要生成的图片尺寸不一致时如何处理。拉伸有变形的问题，一般使用裁剪和填充。

Lineart

Lineart模型使用线条艺术生成训练，通常用于黑线白底图的上色，也可以从各种图片中提取线条，然后再生成图片。Lineart的线条有粗细深浅的区别，相比Canny，除了能够控制构图，还可以更好的还原图片深度。

以下是Lineart模型的具体设置：

• Lineart：线稿控制网络。
• 预处理器：从图片提取线稿图的处理器。这里有多个预处理器，简单介绍下：
• none：不使用预处理器，需要直接上传一张处理好白线黑景线稿图。
• lineart_anime：适合从动漫图片中提取线稿图。
• lineart_anime_denoise：适合从动漫图片中提取线稿图，并去掉噪音点。
• lineart_coarse：从图片中粗略提取线稿图，忽略不突出的细节，生图时自由度更高。
• lineart_realistic：从真实视觉的图片中提取线稿图。
• lineart_standard：从图片提取线稿图的标准版处理器。
• 颜色反转：反色图片，适合从白色背景、黑色线条的图片中提取线稿图。
• 模型：根据线稿图生成图片的ControlNet模型。
• control_v11p_sd15_lineart_fp16：通用线稿图生成模型。
• control_v11p_sd15s2_lineart_anime_fp16：二次元线稿图生成模型。

SoftEdge

SoftEdge模型使用软边缘图像生成训练，平滑的边缘、更好的深度，忽略内部细节，方便创作更具绘画特征或艺术风格的图片。相比Canny、Lineart，SoftEdge除了稳定构图，更好的图片深度控制，还拥有了更多的自由度。

以下是SoftEdge模型的具体设置：

• 预处理器：从图片中提取软边缘图。
• softedge_hed：合成柔边图。
• softedge_hedsafe：安全的合成柔边图，边缘更清晰，稳定性更高。
• softedge_pidinet：简笔柔边图，描绘的细节更少，出图的细节更自由，姿势更稳定。
• softedge_pidinet：安全的简笔柔边图，边缘更清晰，稳定性更高。
• 模型：control_v11p_sd15_softedge_fp16，参与生成图片的软边缘模型，只有这一个。

Scribble

这是一个称之为涂鸦成图的ControlNet，生成图片的自由度更高。丁老头大家都画过吧，我这里把它生成一个毛绒玩具的图片。注意这几个参数：

以下是Scribble模型的具体设置：

• 预处理器：
• 无：不对参考图进行预处理，需要自己上传处理好的涂鸦图，白色代表线条。
• scribble_hed: 粗线合成涂鸦图，用来生成随机性较强的图。
• scribble_pidinet: 粗线简笔合成涂鸦图，生成图片的自由度比 scribble_hed 弱。
• scribble_xdog：从图片中提取更多的细节生成涂鸦图，结构和轮廓的限制更多。
• 颜色反转：简单的反转图片中的黑白色，适合黑白图的处理。
• 模型：control_v11p_sd15_scribble_fp16，参与生成图片的涂鸦模型，只有这一个。

Scribble 也可以用来处理真实的图片，与Canny、Lineart、SoftEdge相比，最大的变化就是，构图会发生一些变化，而且它没有对图片深度的处理。

效果对比

考虑到 Scribble 对原图的变化过大，这里只对比前三个：

可以看到 SoftEdge 对构图和深度处理的最好，当然细节上也更自由。

AIGC学习资料

对于对AI绘画感兴趣的读者，尤其是有一定基础的用户，这里推荐一些学习资料：

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。