增量学习新突破：PASS方法通过原型增强和自监督学习解决灾难性遗忘
增量学习新突破：PASS方法通过原型增强和自监督学习解决灾难性遗忘
本文介绍了一篇发表在CVPR 2021上的论文，提出了名为PASS（Prototype Augmentation and Self-Supervision）的增量学习方法。该方法通过原型增强和自监督学习来解决增量学习中的灾难性遗忘问题。
摘要
尽管深层神经网络在许多单个任务中表现出色，但在增量学习新任务时，往往会遭受灾难性的遗忘。为了解决这一问题，研究者提出了PASS方法，通过原型增强和自监督学习来保持模型对旧任务的记忆能力。实验结果表明，该方法在基准数据集上取得了显著的效果。
动机
本文提出的方法包含两个主要部分：原型增强（Prototype Augmentation）和自监督学习（Self-Supervision）。原型增强用于解决决策边界漂移问题，而自监督学习则用于学习更具可转移性的特征，以改善新任务的学习效果并保持旧任务的性能。
方法
上图展示了自监督学习和原型增强的具体步骤。自监督学习部分通过对新类样本进行旋转来生成"伪"新类，通过分类头区分新类与伪新类来实现特征的自然过渡。原型增强部分则通过给原型向量添加高斯噪声来保持旧类的决策边界。
原型增强
本文采用了一种无示范的方法，不存储旧类的原始图像，而是存储旧类的原型向量。原型向量是该类所有样本特征的平均值。原型增强的具体实现是给原型向量添加高斯噪声：
$$
F_{t_{old}, k_{old}} = \mu_{t_{old}, k_{old}} + e * r
$$
自监督学习
自监督学习部分的灵感来源于相关研究[1]。具体做法是对新类的所有任务样本进行90度、180度和270度的旋转：
$$
\mathbf{X}{t}^{\prime} = \operatorname{rotate}(\mathbf{X}{t}, \theta), \theta \in {90, 180, 270}
$$
与传统认知不同的是，这里将旋转后的样本视为三种"新类"，并赋予新的标签$\mathbf{Y}_{t}^{\prime}$。这种做法可以放松学习过程中的不变约束，从而提升模型性能。
总结
PASS方法通过原型增强和自监督学习两种方式来解决增量学习中的灾难性遗忘问题。实验结果表明，该方法在基准数据集上取得了显著的效果，不仅优于其他无示范方法，而且与基于示范的方法相比也具有相当的竞争力。
参考文献
[1] 原文中的相关研究引用