ComfyUI插件详解：IPAdapter_plus节点功能与使用指南

ComfyUI插件详解：IPAdapter_plus节点功能与使用指南

IPAdapter_plus是ComfyUI中常用且便捷有效的风格迁移模型插件，通过提供参考图像实现风格迁移、风格融合、人物脸部模拟等多种功能。本文将详细介绍IPAdapter_plus插件中各个节点的功能、参数和使用方法，帮助用户更好地掌握这一强大工具。

IPAdapter Advanced/ IPAdapter/ IPAdapter Batch (Adv.)节点

这三个节点用于将IPAdapter模型的效果注入到大模型中，以引导图像生成过程。

输入参数

• model：模型
• ipadapter：IP适配器
• image：图像
• image_negative：负图像
• attn_mask：注意力掩码
• clip_vision：CLIP视觉

参数设置

• weight：权重
• weight_type：权重类型
• combine_embeds：嵌入合并方式（可选：concat、add、subtract、average、norm average）
• start_at：起始位置
• end_at：结束位置
• embeds_scaling：嵌入缩放（默认为'V only'，可选：'V only'、'K+V'、'K+V w/ C penalty'、'K+mean(V) w/ C penalty'）

输出

• MODEL：处理后的模型

示例

使用SDXL大模型测试weight_type的四种变化方式，可以看出权重类型的不同变换方式对最终图像生成有很大影响。同时，对四种不同的嵌入方式进行实验对比。

功能说明

• IPAdapter Advanced：提供高级图像处理选项，支持多种滤镜和效果，允许自定义参数设置。
• IPAdapter：提供基本的图像处理功能，如裁剪、调整大小、旋转、颜色调整等，支持预设滤镜和效果。
• IPAdapter Batch (Adv.)：专为批量处理设计，支持一次处理多张图像，提供高级处理选项，支持自动化工作流程。

IPAdapter Unified Loader FaceID/ IPAdapter Unified Loader/ IPAdapter Unified Loader Community节点

这三个节点用于自动加载IPAdapter和其对应的CLIP version模型，无需手动加载。

输入参数

• model：要应用模型的对象
• ipadapter：IPAdapter模型的配置信息

参数设置

• preset：预设的模型配置
• lora_strength：LoRA模型的强度参数
• provider：InsightFace模型的提供程序

输出

• MODEL：选择的模型
• ipadapter：IPAdapter模型的配置信息

示例

IPAdapter Unified Loader FaceID节点可以自动加载对应的lora、clip version和insightface模型，无需手动指定。

功能说明

• IPAdapter Unified Loader FaceID：专为人脸识别和人脸数据加载设计，支持特征提取和人脸对齐。
• IPAdapter Unified Loader：通用的图像数据加载节点，支持统一处理和格式化图像数据，提供基本预处理功能。
• IPAdapter Unified Loader Community：专为社区数据集设计，支持从各种社区来源加载图像数据，提供社区特定预处理选项。

IPAdapter FaceID/ IPAdapter FaceID Batch节点

这两个节点用于识别人物脸部，控制生成图像与参考图像脸部的相似度，Batch节点支持批量输入参考图像。

输入参数

• model：要应用模型的对象
• ipadapter：IPAdapter模型的配置
• image：图像输入
• image_negative：负图像输入
• attn_mask：注意力掩码
• clip_vision：CLIP视觉模型
• insightface：InsightFace模型

参数设置

• weight：权重参数
• weight_faceidv2：FaceIDv2权重参数
• weight_type：权重类型
• combine_embeds：嵌入组合方式
• start_at：起始位置
• end_at：结束位置
• embeds_scaling：嵌入缩放方式

示例

使用faceID之前，需要对图片进行预处理，处理成224*224的正方形。如果在原始图像中画蒙版，那么蒙版区域与处理后的图像并不贴合，会导致生成的图像并不像原图。IPAdapter faceID batch节点可以同时批量处理图像。

功能说明

• IPAdapter FaceID：专为单张人脸图像的处理和识别设计，支持人脸检测、特征提取和匹配识别。
• IPAdapter FaceID Batch：专为批量处理人脸图像设计，支持一次处理多个图像，提供自动化处理选项。

IPAdapter Tiled/ IPAdapter Tiled Batch节点

这两个节点可以输入非正方形的图像，对整体分块进行参考，让最终生成的图像参考原图的全部信息。

输入参数

• model：要应用模型的对象
• ipadapter：IPAdapter模型的配置
• image：图像输入
• image_negative：负图像输入
• attn_mask：注意力掩码
• clip_vision：CLIP视觉模型

参数设置

• weight：权重参数
• weight_type：权重类型
• combine_embeds：嵌入组合方式
• start_at：起始位置
• end_at：结束位置
• sharpening：锐化程度
• embeds_scaling：嵌入缩放方式

输出

• MODEL：最终的模型信息
• mask：分块后的蒙版信息
• tiles：分块的结果

示例

在原图中绘制蒙版，然后将蒙版传入Tiled节点之后，节点会对蒙版也进行相应的裁剪和原始图像一一对应，最终生成的图像只参考蒙版区域进行模仿。

功能说明

• IPAdapter Tiled：用于处理单张大分辨率图像，通过将图像分成多个较小的块进行处理，处理完成后将各个图像块重新组合。
• IPAdapter Tiled Batch：用于批量处理多个分块的图像，支持一次将多张图像分成多个小块进行处理，处理完成后将多个图像的块重新组合。

IPAdapter Embeds/ IPAdapter Combine Embeds/ IPAdapter Encoder节点

这三个节点组合使用，分别是对原始图像进行编码处理，合并编码后的结果，编码结果来影响模型的扩散。

输入参数

• model：要应用模型的对象
• ipadapter：IPAdapter模型的配置
• pos_embed：正向嵌入
• neg_embed：负向嵌入
• image：图像输入
• attn_mask：注意力掩码
• clip_vision：CLIP视觉模型
• embedx：嵌入的条件信息

参数设置

• weight：权重参数
• weight_type：权重类型
• combine_embeds：嵌入组合方式
• start_at：起始位置
• end_at：结束位置

输出

• MODEL：最终的模型信息
• embed：嵌入编码信息

功能说明

• IPAdapter Embeds：用于从图像中提取特征嵌入，生成用于后续处理或分析的特征向量。
• IPAdapter Combine Embeds：用于将多个特征嵌入进行组合，生成一个新的综合特征嵌入。
• IPAdapter Encoder：用于对图像进行编码，将图像数据转换为特征嵌入。

IPAdapter Noise/ Prep Image For ClipVision节点

这两个节点，一个是用来将原图加上噪声，并可以设置一定的控制方法，比如shuffle，第二个节点是将原始图像进行裁剪去生成适合视觉编码的图像。

输入参数

• 图像信息

参数设置

• type：噪声类型
• strength：强度
• blur：模糊程度
• interpolation：插值方式
• crop_position：裁剪位置
• sharpening：锐化程度

输出

• 处理后的图像信息

示例

功能说明

• IPAdapter Noise：用于添加或处理图像中的噪声，支持多种噪声类型和强度调整。
• Prep Image For ClipVision：用于将图像数据预处理为适合ClipVision模型输入的格式和规范，包括尺寸调整、归一化处理和颜色处理。

“参考人物换装更换”示例工作流

熟练使用以上节点，可以搭建“参考人物换装更换”的工作流。该工作流输入两张图像，一张原始人物图像用来参考脸部和发型，一张衣服图像用来作为衣服参考。衣服参考图像通过segment anything节点去抠图生成衣服对应的蒙版然后进行embed，人物直接进行embed，人物图像会加入噪声编码后去作为neg embed，然后去控制采样器出图。

最终结果如下：