一文带你搞懂DiT（Diffusion Transformer）

一文带你搞懂DiT（Diffusion Transformer）

引用

CSDN

1.

https://blog.csdn.net/2401_84033492/article/details/139197417

Diffusion Transformer（DiT）是AI领域的一个重要创新，它结合了Transformer架构和扩散模型的优势，为图像和视频生成任务带来了新的突破。本文将从DiT的本质、原理和应用三个方面，为您详细解析这一前沿技术。

一、DiT的本质

DiT（Diffusion Transformer）是一种结合了Transformer架构的扩散模型，主要用于图像和视频生成任务。它能够高效地捕获数据中的依赖关系并生成高质量的结果。

扩散模型的核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。

DiT的本质是将去噪扩散概率模型(DDPM)与Transformer架构相结合，使用Transformer作为扩散模型的骨干网络，以处理图像的潜在表示。

二、DiT的原理

DiT架构基于Latent Diffusion Model（LDM）框架，采用Vision Transformer（ViT）作为主干网络，并通过调整ViT的归一化来构建可扩展的扩散模型。

DiT有三种变种形式，分别与In-Context Conditioning、Cross-Attention、adaLN-Zero相组合。

DiT的工作流程主要包括以下几个步骤：

1. 数据预处理：将输入的图像或视频数据转换为模型可以处理的格式，如将图像切分成固定大小的patches（小块），然后将这些patches转换为特征向量。
2. 噪声引入：在数据预处理后的特征向量上逐步引入噪声，形成一个噪声增加的扩散过程。
3. 模型训练：使用引入了噪声的特征向量作为输入，训练Diffusion Transformer模型。模型的目标是学习如何逆转噪声增加的过程，即从噪声数据恢复出原始数据。
4. 图像或视频生成：在模型训练完成后，可以通过输入噪声数据（或随机生成的噪声）到模型中，经过模型的处理后生成新的图像或视频。

三、DiT的应用

Sora模型是一种先进的视觉技术模型，它结合了Diffusion Transformer（DiT）、Variational Autoencoder（VAE）和Vision Transformer（ViT）。

• Diffusion Transformer（DiT）：DiT结合了扩散模型和Transformer架构的优势，通过模拟从噪声到数据的扩散过程，DiT能够生成高质量、逼真的视频内容。
• Variational Autoencoder（VAE）：VAE用于将视频数据压缩为潜在表示，通过解码器将这些潜在表示还原为原始数据。
• Vision Transformer（ViT）：ViT将图像视为一系列的patches（小块），并将这些patches转换为特征向量作为Transformer的输入。

参考文献

• 《Scalable Diffusion Models with Transformers》