Transformer架构揭秘：大模型背后的数学魔法

Transformer架构揭秘：大模型背后的数学魔法

引用

CSDN

等

12

来源

1.

https://blog.csdn.net/qq_38664402/article/details/125430132

2.

https://www.zhihu.com/question/592626839

3.

https://blog.csdn.net/m0_37605642/article/details/132866365

4.

https://blog.csdn.net/2401_85325397/article/details/145321102

5.

https://zhuanlan.zhihu.com/p/654051912

6.

https://blog.csdn.net/weixin_43871785/article/details/134804699

7.

https://blog.csdn.net/ank1983/article/details/137212380

8.

https://zhuanlan.zhihu.com/p/683731440

9.

https://www.jiqizhixin.com/articles/2024-01-02-16

10.

https://0809zheng.github.io/2022/07/01/posencode.html

11.

https://www.chenk.top/%E6%B5%85%E8%B0%88%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81/

12.

https://www.jiqizhixin.com/articles/2023-09-19-3

Transformer架构是现代AI大模型的核心，其背后的数学原理涉及线性代数、概率论和优化理论等。通过深入探讨Transformer中的线性变换和位置编码等关键概念，我们可以更好地理解这些复杂模型是如何工作的。了解这些数学基础不仅有助于我们掌握AI技术的发展方向，还能为未来的创新提供坚实的基础。

计算机不会直接理解我们人类的语言，在计算机中，信息的存储都是以0，1的形式进行表示的，单词，句子，图像，音乐等等都是如此。因此，我们要先将单词进行编码，用向量进行表示，通俗来说就是将单词变成计算机看得懂的语言。

词编码的手段有很多，比如独热编码（One-Hot 编码），他用以下形式进行编码，假设要编码的单词有4个（dog, apple, banana, cat）：

dog: [1, 0, 0, 0]
apple: [0, 1, 0, 1]
banana: [0, 0, 1, 0]
cat: [0, 0, 0, 1]

用这种方法进行编码方法简单，但缺点也有很多，比如：

1. 无法表达两个单词之间的相关性（距离）。
   以人类的视角来看，apple和banana，dog和cat都属于同一类的事物，apple距离banana应该比dog更近一些，但从向量上却无法反映出来。

2. 词向量维度过大，要编码的向量的维度等于单词的个数。
   单单是英语就有成千上万个单词，如果每一个单词都采用这种形式进行编码，那么所产生的向量的维度将和单词个数一致，这显然是无法接受的（上述维度是4，因为有4个单词）。

现在常用的编码手段依据word2vec算法对单词进行编码，具体方法参考word2vec论文。我们将每个单词进行编码，假设Word Embedding的维度（dmodel）是4（原文中是512,dmodel=512），如下图所示：

现在，单词已经被我们表示成了向量，但这还不够。

在任何一门语言中，词语的位置和顺序对句子意思表达都是至关重要的。传统RNN模型天然有序，在处理句子时，以序列的模式逐个处理句子中的词语，这使得词语的顺序信息在处理过程中被天然的保存下来，并不需要额外的处理。

由于Transformer模型没有RNN（循环神经网络）或CNN（卷积神经网络）结构，句子中的词语都是同时进入网络进行处理，所以没有明确的关于单词在源句子中位置的相对或绝对的信息。为了让模型理解序列中每个单词的位置（顺序），Transformer论文中提出了使用一种叫做 Positional Encoding（位置编码） 的技术。这种技术通过为每个单词添加一个额外的编码来表示它在序列中的位置，这样模型就能够理解单词在序列中的相对位置。

位置编码的满足条件

以往我们根据单词之间的间隔比例算距离，如果设置整个句子长度为1，如：

Attention is all you need

，其中is和you之间的距离为0.5。而

To follow along you will first need to install PyTorch

较长文本中子里的0.5距离则会隔很多单词，这显然不合适。

所以，总结一下理想的位置编码应该满足：

1. 为每个字输出唯一的编码；
2. 不同长度的句子之间，任何两个字之间的差值应该保持一致；
3. 编码值应该是有界的。

位置编码分类

如何优雅地编码文本中的位置信息？三种positional encoding方法简述

绝对位置编码

Learned Positional Embedding

方法是最普遍的绝对位置编码方法，该方法直接对不同的位置随机初始化一个

postion embedding

，加到

word embedding

上输入模型，作为参数进行训练。

相对位置编码

使用绝对位置编码，不同位置对应的

positional embedding

固然不同，但是位置1和位置2的距离比位置3和位置10的距离更近，位置1和位置2、位置3和位置4都只相差1，这些体现了相对位置编码。

常用的相对位置编码方法有

Sinusoidal Positional Encoding

和

Learned Positional Encoding

。其中，

Sinusoidal Positional Encoding

是通过将正弦和余弦函数的不同频率应用于输入序列的位置来计算位置编码；

Learned Positional Encoding

是通过学习一组可学习参数来计算位置编码。

在《Attention is all you need》里提到，Learned Positional Embedding和Sinusoidal Position Encoding两种方式的效果没有明显的差别。

自注意力机制是Transformer的核心创新之一，它允许模型在处理序列数据时考虑所有位置的元素，而不仅仅是相邻的元素。这种机制通过计算输入序列中每个元素与其他元素之间的关系来实现。

在自注意力机制中，每个输入元素都会生成三个向量：查询向量（Query）、键向量（Key）和值向量（Value）。这些向量是通过线性变换从输入向量生成的，具体来说，是通过将输入向量与三个不同的权重矩阵相乘得到的。

线性变换的作用

线性变换在Transformer中的作用至关重要。通过将输入向量映射到新的空间，线性变换使得模型能够学习到输入数据的不同表示，从而更好地捕捉数据中的复杂关系。具体来说，线性变换通过权重矩阵（Wq、Wk、Wv）将输入向量转换为查询向量（Q）、键向量（K）和值向量（V），这些向量随后用于计算注意力分数和加权平均值。

多头注意力机制

多头注意力机制是Transformer的另一个重要创新，它通过并行计算多个自注意力机制来增强模型的表达能力。每个"头"都有独立的权重矩阵，可以关注输入序列的不同方面。最终，多个头的输出会被拼接在一起，通过另一个线性变换层输出最终结果。

尽管Transformer在许多任务上表现出色，但其计算复杂度随着序列长度的增加而显著上升。为了解决这个问题，研究者们提出了多种优化方案：

1. 稀疏注意力机制：通过引入与序列长度呈线性关系的注意力机制，如Longformer和LogSparse Transformer，来处理长文档和时间序列预测问题。

2. Transformer-XL：通过段级别循环机制和新的位置编码方案，突破固定长度上下文的限制，捕捉更长的依赖关系。

3. Reformer和Performer：通过局部敏感哈希和正交随机特征方法，将复杂度从O(L^2)降低到O(L log L)或线性复杂度。

4. 卷积增强：结合卷积神经网络，如Conformer和Lite Transformer，以提高局部和全局依赖关系的建模能力。

这些优化方法不仅提高了Transformer的运行效率，还使其能够处理更长的序列和更复杂的任务，进一步推动了AI技术的发展。

通过深入理解Transformer的数学原理，我们不仅能更好地掌握这一强大工具的工作机制，还能为未来的AI技术创新奠定坚实的理论基础。随着研究的不断深入，Transformer架构及其变种将在更多领域展现出其独特的优势，为人工智能的发展开辟新的道路。