SparseTSF：仅用1000个参数实现高性能时间序列预测
SparseTSF：仅用1000个参数实现高性能时间序列预测
SparseTSF是一种极其轻量的长时间序列预测（LTSF）模型，仅用1000个参数就能实现高性能预测。该模型通过跨周期稀疏预测技术，将时间序列数据的周期性和趋势解耦，特别适合计算资源有限的场景。
研究背景
在时间序列预测领域，模型的轻量化是一个热门研究方向。传统的基于Transformer的模型虽然性能优越，但参数量巨大，限制了其在资源受限场景中的应用。SparseTSF模型通过创新的稀疏预测技术，实现了参数量和预测性能的平衡。
准确的长期时间序列预测依赖于数据的周期性和趋势。周期性模式可以转化为子序列间的动态，而趋势模式则被重新解释为子序列内的特征。这种分解为设计轻量级LTSF模型提供了新的视角。
如图所示，SparseTSF模型在均方误差与SOTA模型基本一致的情况下，做到了参数量少2个以上数量级。
本文工作
SparseTSF模型的核心是跨周期稀疏预测技术。该技术假设时间序列具有已知的周期性，通过下采样、稀疏预测和上采样三个步骤实现预测。具体来说：
- 跨周期稀疏预测：将原始序列下采样成w个子序列，然后将具有共享参数的模型应用于这些子序列进行预测。预测完成后，将子序列上采样回完整预测序列。
滑动聚合：为了解决信息损失和异常值影响的问题，在执行稀疏预测之前，对原始序列进行滑动聚合。每个聚合数据点包含其周围周期内其他点的信息，同时减轻了异常值的影响。
实例归一化和损失函数：采用Instance Normalization策略，在序列进入模型之前先减去其均值，在模型输出后再加回来。损失函数采用经典的均方误差（MSE）。
实验结果
实验结果表明，SparseTSF模型在多个基准数据集上都取得了优异的性能。与现有SOTA模型相比，SparseTSF在保持相似预测精度的同时，将参数量减少了2个数量级。
不足与展望
SparseTSF模型在处理超长周期、多重周期以及周期不明显的情况时可能会遇到困难。未来的研究可以考虑如何从超长周期和多周期数据中提取特征，以进一步优化模型性能。
SparseTSF模型的出现，为长时间序列预测领域向轻量级模型迈进提供了新的思路，特别是在计算资源受限的场景中具有广阔的应用前景。