适配器：参数高效微调的革新技术

适配器：参数高效微调的革新技术

引用

CSDN

1.

https://m.blog.csdn.net/weixin_36829761/article/details/140338067

在深度学习领域，预训练模型的微调是一个常见且重要的任务。然而，随着模型规模的不断增大，传统的全参数微调方法面临着巨大的计算资源消耗和存储空间占用等挑战。为了解决这些问题，研究人员提出了一系列参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）方法，其中适配器（Adapters）技术成为了最受欢迎和广泛应用的方法之一。本文将深入探讨适配器技术的原理、主要类型及其在不同领域的应用，帮助读者全面了解这一革新性的微调方法。

适配器的基本概念

适配器是一种在预训练模型的基础上添加少量可训练参数的技术。具体来说，适配器方法在冻结的预训练模型的注意力层和全连接层之后添加额外的可训练参数。这种方法有效地减少了内存使用并加快了训练速度，同时保持了与全参数微调相当的性能。

适配器的核心思想是：

1. 保持原始预训练模型的参数不变（冻结）

2. 在模型的特定位置插入小型的可训练模块（适配器）

3. 仅训练这些新增的适配器参数

通过这种方式，适配器技术实现了以下优势：

• 显著减少了需要训练的参数数量

• 降低了内存占用和计算资源需求

• 提高了训练效率和速度

• 实现了与全参数微调相近的性能