何恺明新作“分形生成模型”：逐像素建模高分辨率图像，效率提升4000倍

何恺明新作“分形生成模型”：逐像素建模高分辨率图像，效率提升4000倍

何恺明团队提出了一种名为"分形生成模型"的新型生成模型架构，通过递归调用同类生成模型来构建复杂系统。这种创新方法在逐像素建模高分辨率图像时，计算效率提升了4000倍，为生成建模领域带来了新的研究方向。

研究背景与动机

在计算机科学领域，模块化概念是构建复杂系统的基础。深度神经网络由原子"层"构建而成，现代生成模型（如扩散模型和自回归模型）则由原子"生成步骤"构建而成。基于这一概念，研究者提出将生成模型本身抽象为一个模块，以开发更高级的生成模型。

分形生成模型的核心理念

研究者提出的分形生成模型通过在其内部递归调用同类生成模型来构建。这种递归策略产生了一个生成框架，其跨不同模块级别的架构表现出自相似性。与自然的分形结构类似，研究者设计的关键组件是定义递归生成规则的生成器，比如这样的生成器可以是自回归模型。

实现方法

研究者展示了分形自回归架构如何用于解决具有挑战性的逐像素图像生成任务。具体而言，每个自回归模型将上一级的生成器的输出作为其输入，并为下一级生成器生成多个输出。该模型还获取一张图像（也可以是原始图像的 patch），将其分割成 patch，并将它们嵌入以形成一个 transformer 模型的输入序列。这些 patch 也被馈送到相应的下一级生成器。

实验结果

研究者在 ImageNet 数据集上进行了实验，图像分辨率分别为 64×64 和 256×256。评估包括无条件和类条件图像生成，涵盖模型的各个方面，如似然估计、保真度、多样性和生成质量。实验结果表明，分形生成模型在逐像素建模高分辨率图像方面取得了显著进展。

总结与展望

研究者希望这一充满潜力的结果能够激励大家进一步研究分形生成模型的设计和应用，最终在生成建模中建立一种全新的范式。

参考资料

• 论文链接：https://arxiv.org/abs/2502.17437
• GitHub 地址：https://github.com/LTH14/fractalgen