真二次元！动漫形象风格迁移

真二次元！动漫形象风格迁移

引用

CSDN

1.

https://blog.csdn.net/lgzlgz3102/article/details/118098158

伊利诺伊大学香槟分校的研究者提出了一种新的GAN迁移方法——GANs N’ Roses（GNR），该方法能够实现“一对多”的生成效果，即一张输入人脸图像可以生成多样化风格的动漫形象。

在GAN迁移领域，研究人员可以构建一个以人脸图像为输入并输出人脸动漫形象的映射。相关的研究方法已经出现了很多，如腾讯微视此前推出的迪士尼童话脸特效等等。

在迁移过程中，图像的内容（content）部分可能会被保留，但风格（style）部分必须改变，这是因为同一张脸在动画中能以多种不同的方式表示。这意味着：迁移过程是一个一对多的映射，该映射可以表示为一个函数，用于接受内容代码（即从人脸图像中恢复）和风格代码（这是一种潜变量）并生成动漫脸。但是，一些重要的限制条件必须遵守。

• 首先是控制（control）：通过改变输入人脸来改变动漫人脸的内容（如动漫人脸应该随着输入人脸的转头而转头）；
• 其次是一致性（consistency）：使用相同潜变量渲染成动漫的真实人脸应在风格上高度匹配（如不改变潜变量的前提下，动漫人脸不会随输入人脸的转头而改变风格）；
• 最后是覆盖范围（coverage）：每个动漫人脸都可以使用内容和风格的组合来获取，这样就可以利用所有可能的动漫形象。

在近日的一项研究中，来自伊利诺伊大学香槟分校的研究者提出了一种新的GAN迁移方法GANs N’ Roses（简写为GNR），这一多模态框架使用风格和内容对映射进行直接的形式化（formalization）。简单来讲，研究者展示了一种以人脸图像的内容代码为输入并输出具有多种随机选择风格代码的动漫形象。

论文地址：https://arxiv.org/pdf/2106.06561.pdf

GitHub项目地址：https://github.com/mchong6/GANsNRoses

从技术上来讲，研究者基于对内容与风格的简单和有效定义中得出了对抗性损失，它保证了映射的多样性，即可以从单一内容代码中生成多样化风格的动漫形象。在合理的假设下，这种映射不仅多样化，还能以输入人脸为条件正确地表示动漫形象的概率。相比之下，当前的多模态生成方法无法捕捉动漫中的风格。大量的定量实验表明，与SOTA方法相比，GNR方法可以生成更多样风格的动漫形象。

GNR的生成效果怎么样呢？我们可以先来看下demo图像戴珍珠耳环的少女的动漫形象：

目前，用户也可以试玩，只需上传自己的图像即可一键生成自己的动漫形象。机器之心用葡萄牙球星C罗的图片试了试生成效果，em……

试玩地址：https://gradio.app/hub/AK391/GANsNRoses

与此同时，在没有对视频进行任何训练的情况下，GNR方法还可以实现视频到视频的迁移。

技术实现

给定两个域、，目标是在域中生成一组不同的，使其具有与x相似的语义内容。该研究详细阐述了从域到的转换细节。如图2所示，GANs N’ Roses由一个编码器E和一个解码器F组成，这两个编码器可用于这两个方向。编码器E将图像x分解为内容编码c(x)和风格编码s(x)。解码器F接收内容编码和风格编码，并从生成合适的图像。

编码器和解码器共同形成了一个生成器。在运行时，通过向编码器传递图像来使用这个生成器，以保留生成的内容编码c（x），获得一些其他相关的风格编码s_z，然后将这对编码传递给解码器。该研究希望最终动漫内容由内容代编码控制，风格由风格编码控制。

图2 GANs N’ Roses

但什么是内容，什么是风格？GANs N'Rose的核心思想是将内容定义为事物所在的位置，将风格定义为事物的外观。这可以通过使用数据增强的思想来实现。选择一组相关的数据增强，在所有条件下：风格是不变的，内容是可变的。注意，这个定义是以数据增强为条件的——不同的数据增强集将导致不同的风格定义。

确保风格的多样性

为了确保用户可以得到不同风格的动漫，当前有三种策略：首先，可以简单地从随机选择的风格代码s_z中生成；其次，解码器具有可以从解码器中恢复s_z的属性；第三，可以编写一个确定的惩罚函数，强制不同风格代码的解码不同；但这些策略都不是令人满意的。

该研究对风格和内容的定义提供了一种新的方法。即必须学习一个映射F(c, s; θ)，该映射采用内容编码c和风格编码s来生成动漫面孔。

表示从数据中随机选择的单个图像，T(·)表示对该图像应用随机选择的增强的函数，P(C)表示内容编码的分布，P(Y)表示真实动漫（等）的真实分布，为生成的动漫图像。这里必须有c(xi) ∼ P(C)。因为风格定义为在增强下不会改变的内容，合理选择的增强应该意味着c(T(x_i)) ∼ P(C) , 即对图像应用随机增强会导致内容编码是先前内容编码的示例。这个假设是合理的，如果它被严重违反，那么图像增强训练分类器将不起作用。

损失函数为：

实验结果

在实验部分，该研究使用batch为7，λ_scon = 10, λ_cyc = 20, λ_adv = 1进行实验。网络架构基于StyleGAN2[9]，该架构风格编码的维度为8。使用Adam优化器[12]对所有网络进行300k批次迭代，学习率为0.002。在输入图像上使用的随机增强包括随机水平翻转、(−20,20)之间的旋转、缩放(0.9,1.1)、平移(0.1,0.1)、剪切(0.15)。图像被放大到286 × 286，并随机裁剪为256 × 256。数据集主要采用selfie2anime数据集[10]以及AFHQ[1]的附加实验。

定性比较

一般来说，当给定相同的源图像和不同的随机风格编码时，GNR会产生不同的图像。风格编码驱动头发、眼睛、鼻子、嘴巴、颜色等的外观，而内容驱动姿势、面部大小、面部部位的位置等。图4显示，GNR在质量和多样性方面优于其他SOTA多模态框架。GNR生成的图像具有不同的颜色、发型、眼睛形状、面部结构等，而其他框架则只能生成不同的颜色。

将多模态结果与SOTA迁移框架进行了比较。该研究还在图5中与AniGAN[14]进行了比较。请注意，即使AniGAN是在更大、更多样化的数据集上进行训练的，但是，该研究也能够生成具有更好的、更多样性的、更高质量的图像。此外，AniGAN以128 × 128的分辨率生成，而该研究以256 × 256的分辨率生成。

下图展示的消融实验显示了多样性鉴别器（Diversity Discriminator）在确保多样性输出方面起着重要作用（图6），实验可得多样性鉴别器明显促进了GNR输出更具多样性、更真实的图像。

定量比较

表1中使用多样性FID、FID和LPIPS对GNR进行了定量评估。在表1的所有实验中，研究发现GNR在所有指标上都明显优于其他SOTA框架。DFID和LPIPS都关注图像的多样性，这些指标的得分从数量上证实了该研究生成图像的多样性优于其他框架。

视频到视频迁移

该研究对风格和内容的定义是，当一张脸在一个框架中移动时，风格不应该改变，但内容会改变。特别是，内容对特征所在的位置进行编码，而风格对特征的外观进行编码。反过来，内容编码应该捕获所有帧到帧的运动，合成动漫视频，而不必训练时间序列。

该研究将GNR逐帧应用于人脸视频，然后将生成的帧组装成视频。图3第2行中的结果显示，GNR产生根据源移动的图像，同时在时间上保持一致的外观。