元学习策略大盘点：四大类方法助力模型快速适应新任务

元学习策略大盘点：四大类方法助力模型快速适应新任务

引用

CSDN

1.

https://blog.csdn.net/qlkaicx/article/details/138437204

元学习（Meta-Learning），通常被称为“学会学习”，涉及到一系列的方法，使模型能够从经验中学习并快速适应新任务。除了常见的模型无关元学习（MAML,Model-Agnostic Meta-Learning）和原型网络（Prototypical Networks），还有其他一些值得关注的元学习策略：

1.基于优化的方法

除了MAML之外，还有其他一些基于优化的元学习方法，它们主要关注于优化模型的学习过程本身：

• Reptile：与MAML类似，Reptile也是一种简单有效的基于梯度的元学习方法，它通过对多个任务执行随机梯度下降来优化模型的初始参数。Reptile相比于MAML在实施上更为简单，因为它不需要像MAML那样进行二阶梯度计算。

• FOMAML（First-Order MAML）：是MAML的一个变种，省略了高阶梯度的计算，从而减少了计算成本。

2.基于模型的方法

这类方法通过修改模型架构来适应快速学习：

• Meta Networks (MetaNet)：MetaNet通过快速生成参数的方式，使用一个元学习者模型来调整目标模型的权重，使得目标模型能快速适应新的任务。

• Neural Turing Machines (NTM) & Differentiable Neural Computers (DNC)：这些是增强的神经网络模型，通过一个外部的内存组件，它们可以学习如何读写和利用这些内存来执行新的任务。

3.基于度量的方法

这类方法通过学习任务之间的相似性度量来进行快速适应：

• Siamese Networks for One-shot Learning：这种网络通过学习将输入映射到空间中，使得同类样本的距离比不同类样本的距离更小，适用于一次学习和少次学习场景。

• Matching Networks：使用支持集来对新样本进行分类，基于样本之间的相似度进行快速预测。

4.基于记忆的方法

这些方法通过使用外部记忆来改进学习过程：

• LSTM-based Meta-Learner：使用LSTM或其他循环神经网络作为一个元学习器，通过记住之前处理的任务来帮助学习新任务。

• Memory-Augmented Neural Networks：通过在网络中加入可微分的外部记忆来增强其快速适应新任务的能力。