深度学习中的迁移学习：概念、分类与实践方法

深度学习中的迁移学习：概念、分类与实践方法

引用

CSDN

1.

https://blog.csdn.net/weixin_43899239/article/details/143871991

迁移学习是深度学习领域中的一个重要概念，它允许模型在不同领域之间进行知识迁移，从而提高模型在新领域的性能。本文将详细介绍迁移学习中的关键概念、分类方法以及如何进行有效的知识迁移。

迁移学习涉及的重要概念

• 源域（Source Domain）：源域是指模型训练的数据集，它提供了丰富的标注信息，用于学习一个初始模型。
• 目标域（Target Domain）：目标域是指模型需要应用的新领域，可能只有少量标注数据或者完全没有标注数据。
• 领域自适应（Domain Adaptation）：领域自适应是迁移学习的一个子集，专注于调整模型以适应源域和目标域之间的分布差异。
• 跨领域迁移学习（Cross-Domain Transfer Learning）：指模型从一个领域迁移到另一个完全不同的领域，这两个领域可能在特征空间上完全不同。
• 归纳迁移学习（Inductive Transfer Learning）：在这种迁移学习中，模型在一个领域上训练，并期望在另一个领域上进行预测，这两个领域是相同的。
• 迁移成分（Transfer Component）：迁移成分是指从一个任务迁移到另一个任务的知识或模型参数。
• 领域不变特征（Domain-Invariant Features）：这些特征在源域和目标域中具有相似的分布，是迁移学习中的关键，因为它们有助于模型在不同领域间迁移。
• 领域判别器（Domain Discriminator）：在对抗性迁移学习中，领域判别器用于区分特征是来自源域还是目标域，目的是使特征在两个领域中不可区分。
• 领域对抗训练（Domain Adversarial Training）：一种训练方法，通过最小化领域判别器的性能来减少源域和目标域特征之间的分布差异。
• 领域适应损失（Domain Adaptation Loss）：这种损失函数用于训练过程中，目的是减少源域和目标域之间的差异。
• 多任务学习（Multi-Task Learning, MTL）：多任务学习是一种迁移学习的形式，其中模型被训练来同时解决多个相关任务，共享表示可以迁移到新任务。
• 零样本学习（Zero-Shot Learning, ZSL）：零样本学习是一种特殊的迁移学习，其中模型从未见过的类别中学习，通过将类别的视觉特征与语义特征关联起来。
• 自适应度量学习（Adaptive Metric Learning）：通过调整距离度量来减少源域和目标域样本之间的距离，同时增加不同类别样本之间的距离。
• 迁移策略（Transfer Strategy）：迁移策略定义了如何将知识从一个领域迁移到另一个领域，可以是特征重用、模型微调或端到端的迁移。
• 领域混合（Domain Mixture）：领域混合是指在训练过程中同时使用来自源域和目标域的数据，以减少它们之间的分布差异。

根据源数据和目标数据有无标签，可以将迁移学习分为四类：

1. 数据和目标数据有标签：可以进行模型微调（目标源只有少量标签数据）和多任务学习
2. 只是source data有标签，target data无标签：领域对抗性训练(Domain Adversarial Training)、零次学习(Zero-shot Learning)。

自我学习：有少量的有标签数据，和非常多的无标签数据，有标签数据可能和无标签数据是没有关系的

自学成簇：target data和source data都是无标签，可以用无标签的source data，可以学出一个较好的特征表示，再用这个较好的特征表示用在聚类上

领域对抗性训练(Domain Adversarial Training)：前提是他们有相同的任务，在概念上你可以把有标签的source data当成训练数据，把无标签的target data当成测试数据，但是这样的效果肯定是很差的，因为它们的分布不同。Domain-adversarial training可以看成GAN的一种。它想要把source data和target data转换到同样的领域上，让它们有同样的分布。

希望这个特征抽取器能把不同领域的source data和target data都转成同样的特征。

特征提取器，提取两类数据特征混合在一起，领域分类器，要侦测出现在特征抽取器输出的特征是属于哪个领域的(来自哪个分布的)。现在特征抽取器要做的事情是尽量骗过这个领域分类器，而后者是尽量防止被骗。为了防止它不管输入是什么，把所有的输出都变成0，需要引入另外一个东西叫标签预测器(Label predictor)。

零次学习(Zero-shot Learning)：有不同的学习任务，

关键问题：用什么迁移、如何迁移（基于实例、特征、共享参数）、何时迁移

如何迁移：

• 基于特征：找出源领域与目标领域之间共同的特征表示，然后利用这些特征进行知识迁移。关注的是如何将源领域和目标领域的数据从原始特征空间映射到新的特征空间中去。这样，在该空间中，源领域数据与的目标领域的数据分布相同，从而可以在新的空间中，更好地利用源领域已有的有标记数据样本进行分类训练，最终对目标领域的数据进行分类测试。
• 共享参数：如何找到源数据和目标数据的空间模型之间的共同参数或者先验分布，从而可以通过进一步处理，达到知识迁移的目的，假设前提是，学习任务中的的每个相关模型会共享一些相同的参数或者先验分布。
• 基于实例：从源领域中挑选出，对目标领域的训练有用的实例，比如对源领域的有标记数据实例进行有效的权重分配，让源域实例分布接近目标域的实例分布，从而在目标领域中建立一个分类精度较高的、可靠地学习模型。