AI发型师:Stable-Hair实现高质量发型转移
AI发型师:Stable-Hair实现高质量发型转移
随着数字媒体和虚拟现实应用的日益普及,个性化虚拟化身和虚拟试穿系统已成为一个重要的研究领域。在这一领域中,发型转移技术一直是一个极具挑战性的任务。近年来,虽然生成对抗网络(GAN)的进步推动了该领域的重大进展,但这些方法往往难以处理现实场景中遇到的多样化和复杂的发型。为了解决这一问题,研究者们提出了一种名为Stable-Hair的新型发型转移方法,该方法基于扩散模型,能够稳健地处理各种复杂发型的转移任务。
项目简介
Stable-Hair是一种新颖的基于扩散的发型转移方法,可以稳健地转移各种现实世界的发型。研究者展示了其在各种具有挑战性的发型上的性能,实现了高度详细和高保真度的传输,取得了令人印象深刻的结果,同时保留了原始的身份内容和结构。
目前的毛发转移方法难以处理多样化且复杂的发型,从而限制了它们在现实世界中的适用性。在本文中,研究者提出了一种新颖的基于扩散的头发转移框架,名为Stable-Hair,它可以将各种现实世界的发型稳健地转移到用户提供的面孔上以进行虚拟试发。为了实现这一目标,Stable-Hair框架被设计为两阶段管道。在第一阶段,研究者训练秃头转换器和稳定扩散,以从用户提供的面部图像中去除头发,从而产生秃头图像。在第二阶段,研究者专门设计了三个模块:Hair Extractor、Latent IdentityNet 和 Hair Cross-Attention Layers,将高度细节和高保真的目标发型转移到秃头图像上。具体来说,毛发提取器经过训练,可以使用所需的发型对参考图像进行编码。为了保持源图像和传输结果之间身份内容和背景的一致性,研究者采用潜在身份网络对源图像进行编码。借助 U-Net 中的头发交叉注意力层,研究者可以准确地将高度细节和高保真度的发型转移到秃头图像上。大量的实验表明,该方法在现有的毛发移植方法中提供了最先进的 (SOTA) 结果。
方法
Stable-Hair由两个阶段组成,以实现高质量的头发转移。首先,将用户输入的源图像转换为光头代理图像。这种转换是使用预先训练的稳定扩散 (SD) 模型与专门的秃头转换器结合来完成的。在第二阶段,研究者采用预训练的 SD 模型和毛发提取器将参考毛发转移到秃头代理图像上。毛发提取器负责捕获参考毛发的复杂细节和特征。然后通过新添加的头发交叉注意层将这些特征注入到 SD 模型中。通过利用这两个阶段,该方法实现了高度详细和高保真的毛发移植,产生自然且视觉上吸引人的结果。
视觉比较
与其他方法相比,该方法实现了更精细和稳定的发型转移,而不需要精确的面部对齐或明确的掩模进行监督。
跨域传输
该方法的稳健性使得发型能够跨不同领域转移,这是以前的方法无法实现的能力。这表明该方法在发型转移领域取得了重大进步。
更多结果
研究者还提出了一系列其他结果,证明了该方法的稳健性和优越性。