位置编码 (Positional Encoding) 的生成及详细解释

位置编码 (Positional Encoding) 的生成及详细解释

引用

CSDN

1.

https://blog.csdn.net/m0_51200050/article/details/139630545

位置编码是Transformer模型中的一个重要组成部分，用于给输入序列添加位置信息，以弥补自注意力机制中缺乏顺序感的问题。本文将详细介绍位置编码的生成方法、工作原理以及具体实现步骤。

位置编码是Transformer模型中的一个重要组成部分，用于给输入序列添加位置信息，以弥补自注意力机制中缺乏顺序感的问题。位置编码通常基于正弦和余弦函数生成，其公式如下：

其中：

• ( pos ) 是位置索引，即时间步长。
• ( i ) 是维度索引。
• ( d_model ）是词向量的维度。

工作原理

位置编码通过上述公式生成一个与输入向量具有相同维度的编码向量。这个编码向量在每个位置上生成独特的值，使模型能够区分序列中的不同时间步。

详细步骤

1. 初始化位置和维度：

• 确定输入序列的长度 ( L ) 和词向量的维度 ( d_model )。

2. 计算正弦和余弦值：

• 对于每个位置 ( pos ) 和每个维度 ( i )，根据公式计算正弦和余弦值。

3. 生成位置编码矩阵：

• 将所有位置和维度的编码值组合成一个位置编码矩阵 ( PE )，
• 其大小为 ( L X d_modle )。

4. 将位置编码添加到输入表示：

• 将位置编码矩阵 ( PE ) 加到输入表示矩阵 ( X ) 上。

举例说明

假设我们有一个长度为4的输入序列，每个时间步有8个特征（维度）。

1. 初始化：

• 序列长度 ( L = 4 )
• 词向量维度 ( d_model = 8 )

2. 计算位置编码：
   以此类推，计算出所有位置和维度的编码值。

3. 生成位置编码矩阵：
   Pos Dim 0 (sin) Dim 1 (cos) Dim 2 (sin) Dim 3 (cos) Dim 4 (sin) Dim 5 (cos) Dim 6 (sin) Dim 7 (cos)
   0 0.0000 1.0000 0.0000 1.0000 0.0000 1.0000 0.0000 1.0000
   1 0.0001 1.0000 0.0001 1.0000 0.0001 1.0000 0.0001 1.0000
   2 0.0002 1.0000 0.0002 1.0000 0.0002 1.0000 0.0002 1.0000
   3 0.0003 1.0000 0.0003 1.0000 0.0003 1.0000 0.0003 1.0000

4. 将位置编码添加到输入表示：
   假设输入表示矩阵 ( X ) 为：
   Pos Dim 0 Dim 1 Dim 2 Dim 3 Dim 4 Dim 5 Dim 6 Dim 7
   0 0.5 0.1 0.3 0.4 0.7 0.6 0.8 0.9
   1 0.6 0.2 0.4 0.5 0.8 0.7 0.9 1.0
   2 0.7 0.3 0.5 0.6 0.9 0.8 1.0 1.1
   3 0.8 0.4 0.6 0.7 1.0 0.9 1.1 1.2

将位置编码矩阵添加到输入表示矩阵上：
Pos Dim 0 Dim 1 Dim 2 Dim 3 Dim 4 Dim 5 Dim 6 Dim 7
0 0.5 1.1 0.3 1.4 0.7 1.6 0.8 1.9
1 0.6001 1.2 0.4001 1.5 0.8001 1.7 0.9001 2.0
2 0.7002 1.3 0.5002 1.6 0.9002 1.8 1.0002 2.1
3 0.8003 1.4 0.6003 1.7 1.0003 1.9 1.1003 2.2

关键点总结

• 位置编码通过正弦和余弦函数生成，使每个位置上的编码值独特且具有顺序信息。
• 位置编码向量与输入表示向量维度相同，添加后形成带有位置信息的输入表示。
• 在具体应用中，位置编码有助于模型理解时间序列中的顺序关系。