暴力涨点！迁移学习+时间序列预测简直“杀”疯了！
暴力涨点！迁移学习+时间序列预测简直“杀”疯了！
迁移学习作为一种强大的工具，如今已成为了时间序列预测中一个流行且有前景的领域，在提升模型性能方面遥遥领先。这是因为，迁移学习可以通过预训练模型在大规模数据集上的学习，帮助我们在小规模数据上实现快速而准确的预测，让我们可以有机会绕过精度和速度之间的传统权衡，加速模型的开发和训练，同时保持较高的预测精度。
因此迁移学习+时间序列预测在数据稀缺或标注成本高的场景下非常适用，研究价值很高。同时，由于这种技术可以更好地适应新的时序数据，它在时序预测领域的应用前景将更加广阔，是个做创新的好方向。
本文分享迁移学习+时间序列预测10种最新方案，可借鉴的方法和创新点我做了简单介绍，基本都有开源代码，方便同学们参考学习。
CrystalGPT: Enhancing system-to-system transferability in crystallization prediction and control using time-series-transformers
方法：作者讨论了迁移学习和时间序列预测在结晶预测和控制中的应用，提出了一个基于时间序列Transformers的新框架，这个框架利用了Transformer算法中固有的强大的迁移学习能力，解决了不同化学系统间系统转移性差的问题，并显著优于现有的LSTM模型。
创新点：
- 开发了一种新颖的时间序列Transformer框架，采用可变的编码器和解码器模块以及多头注意力机制，有效预测复杂化学系统的时间序列数据。
- 通过多头注意力机制，模型能够捕捉不同系统间的结构相似性，从而提升系统间的迁移能力。
- CrystalGPT通过利用PBM、MEBEs和动力学结构间的相似性，实现了对新系统的无缝适应。
Tiny machine learning on the edge: A framework for transfer learning empowered unmanned aerial vehicle assisted smart farming
方法：论文提出了一个结合了迁移学习和时间序列预测的框架，用于边缘计算中的微型机器学习（TinyML）应用，特别是在无人机辅助的智能农业领域。该方法利用了DNN和LSTM模型实现迁移学习，并通过无人机进行边缘设备上的模型更新，填补了无人机辅助TL在物联网边缘设备应用中的研究空白。
创新点：
- 引入了一个创新的框架，将TinyML与传输学习结合，用于在智能农业中预测土壤湿度。
- 采用无人机进行传输学习模型的更新和分发，通过空中更新的方式将最新的模型传输到边缘设备。
- 强调TinyML模型在精确度与处理复杂性之间的平衡，通过无人机辅助的传输学习，在智能农业生态系统中实现端到端推断。
Domain adaptation for time series under feature and label shifts
方法：作者讨论了迁移学习在时间序列数据上的应用，特别是在特征和标签发生偏移的情况下，提出了一个名为RAINCOAT的模型，它能够处理复杂的时间序列数据，并在源域和目标域之间存在特征偏移和标签偏移时，提高模型的迁移能力。实验结果表明RAINCOAT能够在传输学习性能上提升高达16.33%。
创新点：
- RAINCOAT首次在时间序列领域结合时间和频率特征进行编码，以应对域适应中的特征和标签偏移。
- RAINCOAT引入Sinkhorn散度作为特征对齐的度量标准，解决传统方法在处理支持集不相交时的不足。
- RAINCOAT提出了一种新颖的“对齐-然后-校正”过程，专注于检测和纠正目标域中的未知标签样本。
Self-supervised Pretraining and Transfer Learning Enable Flu and COVID-19 Predictions in Small Mobile Sensing Datasets
方法：作者探讨了如何利用自监督预训练和迁移学习来提高在小型移动传感数据集上对流感和COVID-19的预测能力，提出了一种用于移动传感数据的多变量时间序列分类的神经网络架构，通过CNN和Transformer层捕捉长时间序列的依赖关系，以提高在小数据集上的预测性能。
创新点：
- 提出了一种适用于移动传感数据的神经架构，该架构结合CNN和Transformer，用于多变量时间序列分类。
- 引入了新的自监督预训练任务和迁移学习策略，旨在应对小数据集和数据稀缺性问题。
- 开发了一套用于评估移动传感模型的框架，提供了选择现实预测任务和减轻模型选择中固有统计不确定性的最佳实践。