Stable Diffusion ControlNet 安装与使用教程（附示例）

Stable Diffusion ControlNet 安装与使用教程（附示例）

引用

CSDN

1.

https://blog.csdn.net/Misdirection_XG/article/details/146611667

ControlNet 是 Stable Diffusion 中最强大的控制工具，能通过骨骼、边缘、景深等信息精准控制图片生成。以下是通俗易懂的安装与使用教程，新手也能轻松上手！

ControlNet 安装步骤

1. 安装插件

方法一：通过 WebUI 直接安装

1. 打开 Stable Diffusion WebUI，点击顶部 Extensions → Available。
2. 点击 Load from 加载插件列表，搜索 sd-webui-controlnet。
3. 找到插件后点击右侧 Install，安装完成后重启 WebUI。

方法二：手动安装（备用）

1. 访问 GitHub 仓库：https://github.com/Mikubill/sd-webui-controlnet
2. 下载 ZIP 文件并解压，将文件夹复制到 stable-diffusion-webui/extensions/ 目录。
3. 重启 WebUI。

2. 下载 ControlNet 模型

ControlNet 依赖专用模型文件（如 control_v11p_sd15_canny.pth）。

1. 下载地址：

• 官方模型库：HuggingFace ControlNet Models
• 选择需要的模型（推荐先下载 canny 和 openpose）。
• 一个模型包含两个文件，一个.pth和一个.yaml

2. 放置路径： 将下载的模型文件放到 stable-diffusion-webui/extensions/sd-webui-controlnet/models 文件夹。

3. 验证安装

重启 WebUI 后，在文生图/图生图界面底部找到 ControlNet 折叠面板，即表示安装成功！

ControlNet 基础使用

1. 界面介绍

• 启用开关：勾选 Enable 开启 ControlNet。
• 预处理器（Preprocessor）：提取图片特征（如边缘、深度）。
• 模型（Model）：选择对应的控制模型（需与预处理器匹配）。
• 权重（Weight）：控制生成结果与参考图的相似度（0.5~1.5）。

2. 使用流程

1. 上传参考图：点击画板图标上传图片，或直接拖入图片。
2. 选择预处理和模型：

• 例如：想控制人物姿势 → 预处理器选 openpose，模型选 control_v11p_sd15_openpose。

3. 输入提示词：描述你想要的画面。
4. 调整参数：权重建议从 1.0 开始，根据效果增减。
5. 点击生成！

具体使用示例

示例1：固定人物姿势（OpenPose骨骼控制）

• 目标：生成与参考图相同姿势的人物。
• 步骤：

1. 上传一张人物姿势图（如站立、举手）。
2. 预处理器选 openpose，模型选 control_v11p_sd15_openpose。
3. 输入提示词：a woman wearing red dress, elegant pose, palace background。
4. 权重设为 1.0，生成后人物姿势会与参考图一致。

原姿势

新人物生成

示例2：模仿构图（Depth景深控制）

• 目标：生成与原图相同构图的场景（如近景人物+远景山峦）。
• 步骤：

1. 上传构图参考图。
2. 预处理器选 depth_midas，模型选 control_v11f1p_sd15_depth。
3. 输入提示词：(masterpiece, best quality),detailed,arch,architecture,pillar,scenery,statue,palace,decorations,marble,indoors,European palace,church,hall,theater,celling,reflections,dappled sunlight,light rays,reflective floor,
4. 权重设为 1.1，生成结果会保留原图景深层次。

原图

效果图

常见问题解答

Q1：为什么预处理后的图片是空白的？

• 原因：未正确选择预处理器或模型不匹配。
• 解决：检查预处理器和模型是否对应（如 canny 预处理器需搭配 canny 模型）。

Q2：生成的图片和参考图差距太大？

• 调整方法：

1. 提高权重（如从 1.0 增加到 1.3）。
2. 降低提示词的自由度（减少与参考图冲突的描述）。

Q3：模型文件应该放在哪里？

• 路径：stable-diffusion-webui/extensions/sd-webui-controlnet/models

总结

ControlNet 是精准控制 Stable Diffusion 生成的终极工具。掌握以下要点即可快速上手：

1. 安装插件 + 下载模型：确保模型文件路径正确。
2. 预处理器与模型匹配：如 canny 配 canny，openpose 配 openpose。
3. 权重调整：相似度不够时提高权重，过度僵硬时降低权重。

赶紧试试用 ControlNet 生成你脑海中的画面吧！