Edicho：蚂蚁集团联合港科大等高校推出的多图像一致性编辑方法

Edicho：蚂蚁集团联合港科大等高校推出的多图像一致性编辑方法

Edicho是香港科技大学、蚂蚁集团、斯坦福大学和香港中文大学联合推出的一种基于扩散模型的图像编辑方法。它能够在多图像间实现一致性编辑，且无需额外训练即可应用。本文将详细介绍Edicho的技术原理、主要功能及其应用场景。

Edicho是什么

Edicho是香港科技大学、蚂蚁集团、斯坦福大学和香港中文大学推出的，基于扩散模型的图像编辑方法，能在多图像间实现一致性编辑。Edicho用免训练的方法，无需额外训练即可应用。Edicho核心在于用显式图像对应关系指导编辑过程，基于注意力操作模块（Corr-Attention）和分类器自由引导（CFG）去噪策略，确保编辑在不同图像中保持一致性。Corr-Attention 借助显式对应关系增强自注意力机制，将源图像的特征有效转移到目标图像， Corr-CFG 基于修改 CFG 计算，结合预计算的对应关系，引导生成过程更接近期望的编辑，同时保持高图像质量。

Edicho的主要功能

• 一致性图像编辑：在多图像间实现一致性编辑，包括局部编辑（如图像修复）和全局编辑（如图像风格转换），确保编辑结果在各种场景下保持高度协调。
• 即插即用兼容性：作为推理时的算法，可与大多数基于扩散的编辑方法（如 ControlNet 和 BrushNet）无缝兼容，无需额外训练数据，直接应用于实际任务。
• 广泛任务适用性：适用于图像编辑，还能扩展应用于个性化内容创作、3D重建及一致性纹理应用等更多领域，扩展了编辑工具的适用范围。

Edicho的技术原理

• 显式图像对应性引导：基于显式图像对应性引导编辑过程，避免传统隐式对应性方法的局限性。用预训练的对应性提取器（如 DIFT 和 Dust3R）从输入图像中提取稳健的对应性，然后将预计算的显式对应性注入到扩散模型的去噪过程中，确保编辑的一致性。
• 注意力操作模块（Corr-Attention）：增强注意力机制，基于图像之间的对应性引导特征传递。在自注意力模块中，根据显式对应性对查询特征进行变换，从源图像借用相关特征，形成新的查询矩阵，在去噪过程中实现编辑一致性。
• 优化的分类器自由引导（CFG）去噪策略（Corr-CFG）：结合预计算的对应性，在编辑过程中保持高质量和一致性。修改 CFG 的计算方式，在对应关系的引导下操控 CFG 框架中的无条件分支，融合无条件嵌入特征，进一步增强一致性效果，同时保留预训练模型强大的生成先验的完整性。

Edicho的应用场景

• 产品营销：电商平台上的卖家对不同角度拍摄的产品图片进行一致性编辑，提升点击率和转化率。
• 主题活动：在圣诞节期间，用户将多张家庭照片编辑成具有圣诞风格的图片，分享到社交媒体上与亲朋好友共赏。
• 个性化内容生成：用户根据自己的喜好，将多张个人照片编辑成具有统一风格的头像，用在不同社交媒体平台。
• 虚拟现实：在游戏开发中，设计师对虚拟角色的多张设计草图进行一致性编辑，提升角色形象的完整性和辨识度。
• 医学影像数据集增强：在医学影像分析领域，对医学影像数据集中的图像进行一致性编辑，提高医学影像识别模型的训练效果。