基于时频一致性的时序数据预训练方法

创作时间:

作者:

@小白创作中心

基于时频一致性的时序数据预训练方法

引用

CSDN

https://blog.csdn.net/2401_88237740/article/details/143158818

在时间序列数据处理领域，预训练模型面临着时间动态变化、趋势发展和周期性影响等挑战。为了解决这些问题，哈佛大学研究团队提出了一种基于时频一致性的自监督对比预训练方法（TF-C）。这种方法通过将时间序列的时域和频域表示紧密联系起来，实现了在预训练阶段无需目标领域示例的情况下，也能获得良好的泛化能力。

摘要

预训练与目标域之间存在的潜在不匹配（例如时间的动态变化、快速发展的趋势、长期和短周期的影响），时间序列上的预训练存在独特的挑战，这可能会导致下游性能不佳。虽然领域自适应方法可以减轻这些变化，但大多数方法需要直接来自目标领域的示例，这使得它们不适合预训练。

因此，研究团队提出了时间-频率一致性（TF-C）的概念，即一个样本的基于时间的邻域嵌入应该靠近其基于频率的邻域。基于这一假设，研究团队设计了一个可分解的预训练模型，其中自监督信号由时间和频率分量之间的距离提供，每个分量通过对比估计单独训练。

简介

学习能够捕捉时间数据内在规律并能在不同任务和数据集之间泛化的表示，是时间序列分析中的一个根本性挑战。预训练通过在多个数据集上处理时间序列，可以大大提高新时间序列的泛化能力。然而，传统的神经网络模型在处理时间序列的复杂性时往往效果不佳。为了解决这一问题，研究团队提出了基于时频一致性的预训练策略。

当前工作

研究团队提出了一种基于时间-频率一致性（TF-C）的时间序列自监督预训练策略。TF-C的核心思想是，从同一时间序列样本中学习到的基于时间和基于频率的表示在时间-频率空间上应该比不同时间序列样本的表示更接近。具体来说，采用时间空间的对比学习来生成基于时间的表示，并提出了一组新的基于频谱特征的增强方法，通过对比实例识别产生基于频率的嵌入。

预训练的目的是利用一种新的一致性损失最小化基于时间和基于频率的嵌入之间的距离。之后将编码在模型参数中的学习关系传递给初始化微调模型，并在感兴趣的数据集中提高性能：

实验

数据集

研究团队使用了8个公开数据集进行实验，包括：

sleepeeg
EPILEPSY
FD-A
FD-B
HAR
GESTURE
ECG
EMG

基线方法

研究团队考虑了10种基线方法，包括8种最先进的方法：TS-SD、TS2vec、CLOCS、mixup、TS-TCC、SimCLR、TNC和CPC。其中，TS2Vec、TS-TCC、SimCLR、TNC和CPC是为在单个数据集上进行表示学习而设计的。TNC和CPC的训练非常耗时，因此只在一对一设置中进行比较。此外，还考虑了两种无预训练的方法：Non-DL（一种非深度学习的KNN模型）和Random Init（随机初始化微调模型）。评估指标包括准确性、精密度、召回率、F1分数、AUROC和AUPRC。

结果

在一对一预训练评估中，TF-C模型在24个测试中，17个表现最佳，7个表现第二。在一对多评估中，TF-C模型在18个设置中的14个设置获得了最佳性能，表明TF-C假设在时间序列中是通用的。移除LC、LT和LF会导致性能（精度）分别下降6.1%、7.2%和6.7%。在聚类任务中，TF-C获得了超过最强基线（TS-TCC）的最佳聚类（Silhouette得分为5.4%）。这表明TF-C可以利用从预训练中转移过来的知识捕获到更有特色的表征，这与TF-C在上述分类任务中的优势是一致的。结果表明，TF-C对异常样品具有较高的敏感性，能够有效检测机械设备的异常状态。