LSTM 与 Transformer 强强联合，时间序列预测迎来大突破！

LSTM 与 Transformer 强强联合，时间序列预测迎来大突破！

引用

CSDN

1.

https://m.blog.csdn.net/2501_90999870/article/details/146097603

融合 LSTM 与 Transformer进行时间序列分析，作为当下领域的创新探索方向，近年来成果斐然。它们能够精准挖掘时间序列数据中的复杂模式与趋势，有效应对数据中的噪声干扰，极大提升预测的准确性与稳定性。

车辆轨迹预测

论文将 Transformer 与 LSTM 结合用于车辆轨迹预测，提出结合二者的混合模型，处理时空特征。经实验对比基准模型，成功展现了该结合方式的潜力，为后续研究提供方向。

创新点：

1. 提出结合 LSTM 时间编码与 Transformer 捕捉车辆间复杂交互的混合模型，用于车辆轨迹预测。
2. 利用基于网格的掩码散射机制处理相邻车辆的空间轨迹特征。
3. 探索 Transformer 增强 LSTM 框架在轨迹预测中的可行性，为改进模型提供新思路。

智能电网预测

论文针对智能电网启动场景分析和预测的难题，提出 Transformer-LSTM-PSO 模型。通过结合 Transformer 的自注意力机制、LSTM 的时间序列建模能力和 PSO 的参数优化特性，利用多数据集实验验证，该模型在预测精度和效率上优于传统模型。

创新点：

1. 创新地提出 Transformer-LSTM-PSO 混合模型，有效融合三者优势，提升电网启动预测的准确性和效率。
2. 深入分析电网数据时间属性，在时间序列预测上取得进展，能更精准预测电网运行趋势。
3. 为智能电网启动策略研究提供新的方法框架，模型具有良好扩展性，适用于未来电网发展。

电子交易预测

论文对比基于 Transformer 和 LSTM 的模型在金融时间序列预测任务中的表现，利用币安交易所的高频限价订单簿数据，进行多任务实验。发现 Transformer 在绝对价格预测有有限优势，LSTM 在价格差异和价格变动预测中表现更优，还提出新模型 DLSTM。

创新点：

1. 系统性对比基于 Transformer 和 LSTM 的模型在金融预测任务中的表现，为模型选择提供依据。
2. 提出结合 LSTM 和时间序列分解方法的 DLSTM 模型，提升价格变动预测性能。
3. 设计Transformer 新架构以适应价格变动预测任务，探索 Transformer 在该领域的应用。

CT 扫描图像分析

论文针对 CT 扫描图像分辨率和切片数量不一致问题，提出基于两步法的模型。先通过肺面积估计选择切片训练 2D 模型，再用 LSTM 和 Swin Transformer 学习时空特征，实验证明该方法有效。

创新点：

1. 提出基于肺面积估计的切片选择策略，提升训练数据质量。
2. 构建结合 LSTM 和 Transformer 的两步法模型，学习时空特征，避免过拟合。
3. 发现两步法中 LSTM 模型假阴性率低，Swin 模型假阳性率低，为模型集成提供依据。