时间序列分类模型的集成对抗训练防御方法
时间序列分类模型的集成对抗训练防御方法
随着传感器技术和计算机存储能力的提升，时间序列数据无处不在。然而，基于深度学习的时间序列分类（TSC）模型易受到对抗样本攻击，从而导致模型分类准确率大幅度降低。本文研究了TSC模型的对抗攻击防御问题，设计了集成对抗训练（Adversarial training，AT）防御方法。
研究背景
时间序列分析是数据挖掘领域的重点研究方向之一，其中时间序列分类（Time series classification，TSC）是一个重要且具有挑战性的问题。深度学习算法因其具有较强的特征提取和信息处理能力，能够更好地挖掘高维时间序列数据特征，成为当前解决TSC问题的重要技术之一。
然而，基于深度学习的TSC模型已被证明易受到对抗攻击的干扰，从而对输入做出错误的预测。因此，设计有效的对抗防御方法，提高TSC模型的鲁棒性，是将其进一步部署和推广的重要前提和保障。
相关工作
对抗训练（Adversarial training，AT）是一种有效提升模型鲁棒性的对抗防御方式。对抗训练最早由Goodfellow提出，通过使用生成的对抗样本重训练模型的方式，提高模型的鲁棒性。此后的研究者尝试使用不同的对抗样本生成方式来提升对抗训练的防御能力，包括快速梯度符号法（Fast gradient sign method，FGSM）、基本迭代法（Basic iterative method，BIM）、投影梯度下降法（Project gradient descent，PGD）、动量迭代的快速梯度符号法（Momentum iterative fast gradient sign method，MI-FGSM）以及基于优化的C&W攻击（Carlini and Wagner attack）。
尽管对抗训练的防御方法已在TSC问题中得到广泛的应用，但上述基于单一模型和攻击的对抗训练方法会使模型收敛到一个退化的全局最小值，不利于提升模型的鲁棒性。基于此，Tramèr等提出集成对抗训练的方法，通过从其他模型转移的扰动来增强训练数据，进一步提升模型的鲁棒性。但在TSC的对抗攻击防御的相关工作中，仍然缺少对集成对抗训练的相关研究。
方法介绍
本文设计了一种集成对抗训练防御框架，利用已有的多种TSC模型通过对抗训练的方式生成对抗样本。同时，分别使用白盒攻击和黑盒攻击两种方式生成对抗样本对模型进行对抗训练，解决单一样本下防御算法性能的局限性。
在白盒攻击过程中，引入Shapelets算法，选取最优子序列进行攻击，这种局部攻击可以生成更为真实和更具隐蔽性的对抗样本。同时，在黑盒对抗攻击中，使用知识蒸馏（Knowledge distillation，KD）的方法生成目标TSC模型的替代模型，并基于该替代模型使用基于沃瑟斯坦距离的生成对抗网络（Wasserstein generative adversarial network，WGAN）进行对抗攻击，生成对抗样本。
使用生成多样性的对抗样本对模型进行对抗训练，可以有效提升模型面对未知攻击的防御性能。在此基础上，考虑对抗训练所导致的目标模型分类精度下降的问题，在对抗训练过程中，通过KL散度约束对抗样本和原始样本的特征差异，平衡模型的精度和鲁棒性。
实验结果
最后，在多变量时间序列分类数据集UEA上验证了所提方法的有效性。实验结果表明，本文所提方法能够有效提升TSC模型的鲁棒性，同时保持较高的分类精度。
未来工作
然而，集成多模型的对抗训练算法仍存在算力要求高、训练速度慢等问题。因此，本文后续工作拟利用云计算技术将计算任务部署在云端，进一步提高计算效率。
总结
本文研究了时间序列分类模型存在的对抗攻击安全问题，设计了相应的对抗训练防御方法。通过集成对抗训练防御框架、白盒攻击和黑盒攻击等多种方式生成对抗样本，有效提升了模型面对未知攻击的防御性能。实验结果验证了所提算法的有效性。
图 1 时间序列分类算法模型示意图
图 2 集成对抗训练防御整体框架图
图 3 WGAN黑盒攻击模型结构图
本文来自《自动化学报》，作者为北京理工大学自动化学院的王璐瑶、曹渊、刘博涵、曾恩、刘坤和夏元清教授。