即插即用 | 时间编码+LSTM+全局注意力
即插即用 | 时间编码+LSTM+全局注意力
本文介绍了一种基于全局注意力机制的LSTM模型（GATLSTM），该模型通过时间编码和位置编码的结合使用，可以更好地捕获输入数据的语义、位置和时间特征，增强模型对时间序列数据的理解和预测能力。
模型创新点介绍
1.1 时间编码
输入信息编码参考Informer论文，我们把源码和数据集制作进行了优化，方便任何带有时间特征列的数据集进行输入信息的编码。
Informer在原始向量上不止增加了Transformer架构必备的PositionEmbedding（位置编码）还增加了与时间相关的各种编码：
- 日周期编码：表示一天中的时间点。
- 周周期编码：表示一周中的时间点。
- 月周期编码：表示一个月中的时间点。
在时间序列预测任务中，不同时间节点可能蕴藏着重要信息，例如分层时间戳（周、月和年）和不可知时间戳（假期、事件）。
具体在这里增加什么样的GlobalTimeStamp还需要根据实际问题来确认，如果计算高铁动车车站的人流量，显然“假期”的时间差就是十分重要的。如果计算公交地铁等通勤交通工具的人流量，显然“星期”可以更多的揭示是否为工作日。
大家根据自己数据集的时间分辨率可灵活调整！
1.2 基于GlobalAttention优化的LSTM网络
把基于注意力机制的循环网络改进优化为基于全局注意力机制LSTM神经网络:
模型整体结构
模型整体结构如下所示，多特征变量时间序列数据先经过输入信息编码：
- TokenEmbedding -时序数据编码
- PositionalEmbedding-位置编码
- TemporalEmbedding-时间编码
通过这三种数据编码方式的结合使用，可以更好地捕获输入数据的语义、位置和时间特征，增强模型对时间序列数据的理解和预测能力。
编码后的数据通过基于GlobalAttention优化的LSTM网络提取全局时序特征，GlobalAttention是一种用于加强模型对输入序列不同部分的关注程度的机制。在 LSTM 模型中，全局注意力机制可以帮助模型更好地聚焦于输入序列中最相关的部分，从而提高模型的性能和泛化能力。在每个时间步，全局注意力机制计算一个权重向量，表示模型对输入序列各个部分的关注程度，然后将这些权重应用于 LSTM 输出的特征表示，通过对所有位置的特征进行加权，使模型能够更有针对性地关注重要的时域特征, 提高了模型对多特征序列时域特征的感知能力。
我们对模型起名为：
Global Attention Temporal LSTM -(GATLSTM)
电力变压器数据集预处理
电力变压器数据集的详细介绍可以参考下文：
电力变压器数据集介绍和预处理
3.1 导入数据
3.2 数据集制作与预处理
详细介绍见提供的文档！
基于 GATLSTM 的预测模型
4.1 定义 GATLSTM 预测网络模型
4.2 设置参数，训练模型
50个epoch，MSE 为0.0198，GATLSTM预测效果显著，模型能够充分提取时间序列的全局上下文信息，收敛速度快，性能优越，预测精度高，适当调整模型参数，还可以进一步提高模型预测表现。