GANs火爆，AI绘图迎来新纪元？

GANs火爆，AI绘图迎来新纪元？

生成对抗网络（GANs）作为AI绘图的核心技术，近年来备受瞩目。其独特的双网络结构——生成器和判别器，通过相互对抗不断提升图像生成质量。从最初的图像生成到如今的高分辨率艺术作品，GANs的发展推动了AI绘图技术的进步。随着技术的不断完善，AI绘图正在引领艺术创作的新潮流，为艺术家和设计师带来了无限的可能性。

GANs由两个神经网络组成：生成器（Generator）和判别器（Discriminator）。生成器的任务是生成尽可能接近真实数据的假数据，而判别器的任务则是尽可能准确地判断输入数据是真实的还是由生成器生成的。这两个网络相互对抗、相互进步，通过不断迭代训练，最终生成器能够生成高质量的假数据，判别器则难以判断输入数据的真假。

生成器通常是一个深度神经网络，其输入是随机噪声，输出是生成的数据。生成器的任务是学习真实数据的分布，从而能够生成与真实数据相似的假数据。判别器也是一个深度神经网络，其输入是真实数据或生成器生成的假数据，输出是一个标量值，表示输入数据为真实数据的概率。判别器的任务是尽可能准确地判断输入数据的真假。

GANs的训练过程是一个零和博弈（Zero-Sum Game）的过程，即生成器和判别器的损失函数之和为零。在训练过程中，生成器和判别器交替进行参数更新。具体步骤如下：

1. 固定生成器，训练判别器：使用真实数据和生成器生成的假数据训练判别器，使其能够准确判断输入数据的真假。
2. 固定判别器，训练生成器：使用判别器的输出作为生成器的损失函数，通过反向传播算法更新生成器的参数，使其能够生成更接近真实数据的假数据。

这两个步骤交替进行，直到生成器能够生成高质量的假数据，判别器则难以判断输入数据的真假。

GANs自2014年由Ian Goodfellow等人提出以来，便在深度学习领域掀起了一场革命。GANs的核心思想是通过两个相互竞争的神经网络——生成器（Generator）和判别器（Discriminator）——来实现数据生成与鉴别的过程。生成器负责生成尽可能接近真实数据的假数据，而判别器则努力区分输入数据是真实的还是由生成器生成的。

GANs的崛起得益于其独特的无监督学习特性和无需标记数据的优势。这使得GANs在图像生成、艺术品生成、音乐生成和视频生成等领域展现出了巨大的潜力。此外，GANs还能用于提高图像质量、图像风格化或着色、面部生成等任务，为图像处理和计算机视觉领域带来了全新的视角。

随着GANs研究的深入，多种架构不断涌现，如DCGAN、BigGAN、StyleGAN、StackGAN、CycleGAN、Pix2pix和Age-cGAN等。这些架构在解决GANs训练不稳定、模式崩溃等问题上取得了显著进展，并推动了GANs在实际应用中的广泛应用。

• DCGAN：首次在GANs中使用卷积神经网络（CNN），解决了训练不稳定和模式崩溃等问题，为后续的GANs架构提供了重要参考。
• BigGAN：通过大规模训练生成了具有高保真度和低品种差距的图像，显著提升了GANs的图像生成质量。
• StyleGAN：在面部生成任务中创造了新记录，其核心是风格转移技术，能够生成高质量的面部、汽车、卧室等图像。

2025年，AI社区开始讨论一种全新极简主义 GAN（生成对抗网络）。现代版 GAN 基准论文成为了周五 HuggingFace 热度最高的研究。该论文也入选了 NeurIPS 2024。

研究者通过引入一个新的损失函数，解决了以往 GAN 模式崩溃（collapse）和不稳定性的问题。为了证明可行性，他们测试了 GAN 里流行的 StyleGAN2，通过新的理论进行最简升级（修改后改名为「R3GAN」）。结果虽然模型变得更简单了，但 R3GAN 在图像生成和数据增强任务上性能还是超过了所有 GAN 模型和扩散模型。

新的方法给未来的研究奠定了一个更为整洁、可扩展的基础。有一种广泛流传的说法认为 GAN 很难训练，并且文献中的 GAN 架构充斥着大量的经验性 tricks。但是作者团队提供了反驳这一说法的证据，并以更有原则的方式建立了一个现代版 GAN 基线。

在该研究中，作者首先通过推导出一个行为良好的正则化相对 GAN 损失函数，解决了模式 dropping 和不收敛问题，而这些问题在以前经常是通过大量 ad-hoc tricks 来应对的。他们从数学层面分析了这一损失函数，并证明它具有局部收敛保证，这与大多数现有的相对损失函数不同。

其次，这个损失函数能够抛弃所有的 ad-hoc tricks，并用现代版架构替代常见的 GAN 中所使用的过时的骨干网络。以 StyleGAN2 为例，他们展示了一个简化过的现代版路线图 ——R3GAN（Re-GAN）。尽管方法非常简单，但它在 FFHQ、ImageNet、CIFAR 和 Stacked MNIST 数据集上却超越了 StyleGAN2，并且在与最先进的 GAN 和扩散模型的比较中表现出色。

在生成式 AI 技术兴起之前，GAN 是 AI 领域中的热门研究方向，该方法能让我们能够在一次前向传递中生成高质量图像。然而我们无法忽略的是，Goodfellow 等人构建的原始目标因其极小极大特性而极难优化，训练的不稳定性一直对 GAN 的研究产生着负面影响。

与扩散模型等其他生成模型相比，GAN 的发展一直比较缓慢。考虑到一旦得到了表现良好的损失函数，我们就可以自由地设计现代 SOTA 主干架构。在新工作中，作者剥离了 StyleGAN 的所有功能，找出那些必不可少的功能，然后从现代 ConvNets 和 transformer 中借用了架构设计，包括一系列 ResNet 设计、初始化、重采样、分组卷积、no normalization 等，引出了一种比 StyleGAN 更简单的设计。

该工作率先从数学上证明了 GAN 不需要通过改进的正则化损失来进行训练。

提高训练稳定性

该研究证明，通过将目标进展与正则化训练损失结合起来，GAN 获得了更高的训练稳定性，能够用现代骨干网络升级 GAN。

首先，该研究提出了一个新的目标，通过零中心梯度惩罚增强 RpGAN，提高稳定性。该研究从数学上证明，梯度惩罚 RpGAN 与正则化经典 GAN 享有相同的局部收敛保证，并且删除正则化方案会导致不收敛。

在定义 GAN 的目标时，研究者需要应对两个挑战：稳定性和多样性。为了在这两方面同时取得进展，该研究将 stable 方法与基于理论的简单正则化器结合起来。

传统 GAN 被表述为判别器 D_ψ 和生成器 G_θ 之间的极小极大博弈：

在实际实现中，传统 GAN 容易受到两种常见故障场景的影响：模式 collapse/dropping 和不收敛。

该研究采用了一种略有不同的极小极大博弈 ——RpGAN，由 Jolicoeur-Martineau 等人提出，以解决模式 dropping 问题。

一般的 RpGAN 定义为：

然而，经验表明，未正则化的 RpGAN 表现不佳。

为了解决 RpGAN 不收敛的问题，该研究探索梯度惩罚作为解决方案，因为事实证明，零中心梯度惩罚 (0-GP) 有助于经典 GAN 的收敛训练。两个最常用的 0-GP 是 R1 和 R2：

研究团队认为实际的解决方案是在真实数据和虚假数据上对 D 进行正则化。此外，如 Fang et al.(2022) 所言，真实数据和虚假数据具有大致相同的梯度范数可能会减少判别器过拟合。

新基线的路线图 — R3GAN

行为良好的 RpGAN + R1 + R2 损失函数缓解了 GAN 优化中的问题，同时

GANs在实际应用中具有广泛的应用潜力。以下是一些GANs的典型应用场景：

1. 图像生成：GANs可以用于生成高质量的图像，如人脸、风景、动物等。通过训练大量的图像数据，生成器可以学习到真实数据的分布，从而生成与真实图像相似的假图像。

2. 图像编辑：GANs可以用于图像编辑任务，如图像超分辨率、图像去噪、图像风格迁移等。通过调整生成器的参数或结合其他深度学习技术，可以实现各种复杂的图像编辑操作。

3. 语音合成：GANs也可以用于语音合成任务，如语音转换、语音增强等。通过训练大量的语音数据，生成器可以学习到真实语音的分布，从而生成与真实语音相似的假语音。

4. 虚拟角色创建：GANs在游戏和虚拟现实领域展现出巨大潜力，可以用于创建逼真的虚拟角色和场景。

随着技术的不断发展，GANs在AI绘图领域的应用将更加广泛。未来，GANs可能会在以下几个方向取得突破：

1. 跨模态生成：实现图像、文本、音频等多种模态之间的相互转换和生成。
2. 可控性增强：用户能够更精细地控制生成内容的风格、细节和属性。
3. 大规模应用：随着计算能力的提升，GANs将能够处理更复杂、更大规模的数据集，生成更高质量的内容。
4. 艺术创作：GANs将为艺术家提供更多创作工具和灵感来源，推动艺术创作的边界不断拓展。

GANs技术的不断发展，正在为AI绘图领域带来新的革命。从最初的图像生成到如今的高分辨率艺术作品，GANs的发展推动了AI绘图技术的进步。随着技术的不断完善，AI绘图正在引领艺术创作的新潮流，为艺术家和设计师带来了无限的可能性。