从监督到偏好：SFT与DPO微调方法详解

从监督到偏好：SFT与DPO微调方法详解

引用

CSDN

1.

https://blog.csdn.net/2401_85373691/article/details/144282830

SFT和DPO是两种用于大规模语言模型（如GPT系列）微调的算法，它们在优化目标、数据处理和应用场景上有不同的特点。以下是对这两种算法的详细介绍

Supervised Fine-Tuning

《HOW ABILITIES IN LARGE LANGUAGE MODELS ARE AFFECTED BY SUPERVISED FINE-TUNING DATA COM- POSITION》
https://arxiv.org/pdf/2310.05492.pdf

SFT 是一种传统的监督学习微调方法，它通过使用带标签的数据集对预训练模型进行微调。该方法的核心目标是调整模型的参数，使其在特定任务或数据集上表现更好。

SFT 常见微调步骤

• 数据准备：使用一个标注好的数据集，通常这些数据集包含输入-输出对，表示模型应该学习的映射关系。
• 目标函数：模型通过最小化预测结果与真实标签之间的损失（通常是交叉熵损失）来进行训练。这个过程使得模型能够更好地执行特定的任务，如文本分类、问答、文本生成等。
• 微调过程：在预训练的基础上，SFT 通过反向传播算法更新模型的参数，使得模型在特定任务上表现更佳。

优点

• 简单直观：作为一种传统的微调方法，SFT易于理解和实现。
• 高效性：对于特定任务，它通常能在短时间内获得较好的性能。
• 可控性强：通过标注数据进行监督学习，可以直接控制模型的行为。

缺点

• 依赖于标注数据：SFT需要大量的高质量标注数据，这对于某些领域可能比较困难或昂贵。
• 过拟合风险：如果微调数据量过小，模型可能会在训练数据上过拟合，导致泛化性能下降。

Direct Preference Optimization

《Your Language Model is Secretly a Reward Model》
https://arxiv.org/pdf/2305.18290

DPO 是一种新兴的优化方法，通常用于优化基于人类反馈的模型，尤其是在强化学习和偏好学习的背景下。DPO 主要用于训练模型使其能更好地符合用户偏好或更复杂的目标，而不仅仅是通过传统的监督学习来拟合固定的标签。DPO 方法的核心思想是直接优化模型对比不同候选答案的偏好。通常，它采用“人类反馈”或者“模型间反馈”来评估哪些输出更符合目标或更具价值。

DPO 常见的步骤包括

• 数据准备：在 DPO 中，通常会收集一组对话或生成的候选答案，并通过人类标注或自动化评估机制来确定这些答案的优劣。
• 偏好对比：模型的训练目标是优化对不同候选答案的偏好预测，具体地，通过比较候选答案的质量来进行优化。比如，在对话生成任务中，模型需要通过反馈判断哪个回答更符合用户的需求。
• 损失函数：DPO 常常采用基于排名或偏好的损失函数，来通过优化模型输出的偏好评分来提升性能。这种方法更关注不同候选之间的相对质量，而不是单一的预测准确性。

优点

• 人类反馈驱动：DPO能够充分利用人类的偏好数据，生成更加符合人类意图和价值观的输出。
• 高质量输出：通过优化模型对输出的偏好判断，DPO 可以帮助生成更加精准、相关的回答或内容。
• 适应性强：DPO 对模型的输出进行细粒度的优化，使其可以更好地适应复杂的应用场景，如对话系统、个性化推荐等。

缺点

• 依赖偏好数据：DPO 需要大量的人类反馈或相似的偏好数据进行训练，这种数据的收集成本较高。
• 训练难度大：与传统的监督学习相比，DPO 的训练过程较为复杂，需要处理更多样化的数据和多层次的优化目标。

总结

• SFT 是一种标准的监督微调方法，主要通过标注数据来微调预训练模型，适用于任务明确且有丰富标注数据的场景。
• DPO 则侧重于根据用户的偏好或反馈来优化模型的输出，适用于需要根据不同情境、个性化需求进行调整的任务，如对话生成、内容推荐等。

这两种方法各有优势，具体选择哪种方法取决于任务的特性和可用的数据。