DeepSeek技术社区：为什么选择蒸馏模型？一文彻底搞懂大模型蒸馏技术
DeepSeek技术社区：为什么选择蒸馏模型？一文彻底搞懂大模型蒸馏技术
DeepSeek技术社区提供了7B、8B、14B、32B等多个中小参数量模型，与其他模型通过优化训练过程和模型架构不同，DeepSeek选择先训练一个超大参数模型，然后通过蒸馏的方式提供小参数量模型。本文将深入探讨大模型蒸馏技术的原理、优势以及具体实现过程。
一、什么是大模型蒸馏？
大模型蒸馏（Model Distillation）是一种将大型、复杂模型（通常称为“教师模型”）的知识转移到小型、简单模型（通常称为“学生模型”）的技术。其核心思想是通过模仿教师模型的输出，使学生模型在保持较高性能的同时，显著减少模型的大小和计算复杂度。
为什么会出现大模型蒸馏？
大模型蒸馏技术的出现，主要是为了解决大规模模型（例如 GPT、Llama、DeepSeek 等）在实际应用中的一些问题和需求。尽管这些大模型在性能上很强悍，但是在使用时资源消耗大成本高，蒸馏技术正是为了解决这些问题而提出来的，蒸馏也是一种大模型优化的技术手段，资源消耗具体体现为以下两点：
- 计算资源
- 大模型通常具有非常庞大的参数量，可能达到数十亿、数百亿甚至上千亿的参数，这导致了以下问题：
- 训练成本高昂：训练这样的大模型需要极为强大的计算资源，通常需要数周甚至数月的时间，并且要消耗大量的电力。
- 推理速度慢：在实际应用中，大模型往往无法实时响应请求，因为它们的计算需求过于庞大。
- 蒸馏技术通过将大模型的知识迁移到小模型上，能够在保持较高性能的前提下，大幅减少计算开销。这样，即使是硬件资源有限的环境，也能实现高效的推理和部署。
- 推理时的内存和存储资源
- 大模型在推理时不仅需要大量计算资源，还需要极其庞大的内存和存储空间。例如，在推理时，大模型可能需要占用几十 GB 甚至上百 GB 的内存，这对很多设备（如 PC、手机、嵌入式设备）来说是不现实的。
- 蒸馏技术通过压缩模型大小，可以让小模型在保持大模型性能的情况下，显著减少内存和存储的需求，使其更适合在资源受限的设备上运行。
二、DeepSeek为什么选择蒸馏大模型？
从官方发布材料上看，在DeepSeek之前，主流的开源大模型 Qwen、Llama等都没有正式发布蒸馏大模型，为什么会这样，让我们分析一下：
假设有一个7B参数量的模型A和模型B，两者的模型结构完全相同，其中A是通过模型蒸馏得到的（教师模型能力很强），而B是从零开始训练的，那么A的表现通常会比B好，理由如下：
- 蒸馏的知识迁移优势
- 模型A是通过蒸馏从一个更大、更强的模型（教师模型）中获得知识的。蒸馏的过程并不仅仅是复制大模型的输出，而是让小模型学习到大模型的决策过程、内部表示和隐含知识。这样，模型A在训练过程中能够接收到更多的高质量指导，尤其是在复杂的推理、模式识别和特征提取方面。
- 通过蒸馏，模型A实际上学会了一个已经“成熟”的模型的很多优点，比如对上下文的理解能力、处理边缘情况的能力以及通过大量训练积累的先验知识，这些是从零训练的模型（B）很难在同样的数据量和训练时间下学到的。
- 训练过程中的指导作用
- 在模型B的训练过程中，它是从随机初始化开始的，没有任何先前的知识。它的每一个参数都是从头开始学习，可能需要更多的训练数据和更长的时间，才能逐步接近其理论上的最优状态。
- 与之对比，模型A通过蒸馏直接从教师模型（通常具有强大的能力）中学习。这意味着模型A的学习过程是高效的，它利用教师模型的“智慧”来进行学习，在较少的训练数据和计算资源下可能就能表现得很好。
- 大模型的泛化能力
- 大模型（即教师模型）通常具有很强的泛化能力，因为它是在大量的数据上训练出来的。通过蒸馏，小模型（A）能够继承教师模型的一部分泛化能力，尤其是在不确定的、少见的模式识别上，这对于提高模型的性能是非常有帮助的。
- 模型B从零开始，缺乏这种来自大模型的“润色”或高质量的指导，因此在面对复杂的、边缘的或数据稀缺的任务时，B模型的表现可能会较差，尤其是在数据量有限的情况下。
说明一下，在做模型蒸馏时，教师模型和学生模型的架构可以不同。蒸馏的核心在于将教师模型的知识（如输出分布或中间特征）传递给学生模型，而不是直接复制其架构。这种灵活性使得蒸馏可以应用于不同架构的模型之间。
为什么其他大模型以前没有使用蒸馏？
让我们分析一下：
- 模型设计理念的差异
- Qwen 和 Llama 系列的设计目标通常更加注重大规模模型的多样性与复杂性，而不是直接针对压缩和蒸馏。许多开发团队，特别是在 Meta和其他大型互联网公司，关注的是如何构建一个强大的基础模型，尤其是为了满足各种不同的任务需求，因此并没有在一开始就把蒸馏作为模型的核心优化手段。
- DeepSeek 则在一开始就强调了模型的高效性与适应性，尤其是在计算资源受限和需要高效推理的场景中，这可能促使了他们在发布初期就同时发布了蒸馏版本。蒸馏不仅帮助模型提高了性能，而且有效地减小了推理成本，非常符合在实际应用中对大模型高效推理的需求。
- 实际应用需求的差异
- Qwen 和 Llama 的推出时主要面向的是大规模计算资源充足的环境，例如大型云服务器集群，因此它们的开发可能更侧重于提升模型的多任务能力和通用性，而蒸馏本身并不是它们最优先考虑的优化方向。换句话说，这些大模型的初衷是为了提升多任务、跨领域的能力，可能认为蒸馏并不是最急需的优化策略。
- 与此相比，DeepSeek 的目标之一就是解决推理效率和实际部署中的计算限制问题，这使得蒸馏技术成为其开发的核心之一。蒸馏不仅能够减小模型体积，还能在大规模推理中降低延迟和计算开销。
说到底是大厂人多钱多，起步早，走的是重型装备路线；DeepSeek 是小厂，资源有限，走的是轻巧路线。在有限的资源条件下，要实现更强的模型能力，蒸馏模型技术是实现这一目标的有效途径之一。
三、大模型是如何做蒸馏的？
这里简要说下关键的几个步骤：
前置条件：用于蒸馏的教师模型已经就绪
第一步：准备训练数据阶段
这一步的目的是使用教师模型对原始数据进行处理，生成软标签，可以简单理解为，在考试的时候先把试卷发给老师做，老师把每道题的解题思路和答案先写出来。
- 准备原始数据集 --》 对应试卷
- 用于训练的数据，例如文本、图像或其他类型的数据。
- 注意：这些数据是用于教师模型和学生模型的输入
- 教师模型生成数据（软标签） --> 对应解题思路和答案
- 将上述准备的原始数据集输入到教师模型中，教师模型会输出数据（软标签）。通常是概率分布（例如，对于分类任务，每个类别的概率值）。软标签包含了教师模型的知识，学生模型需要学习这些知识。
- 举个例子：假设我们有一个文本分类任务，原始训练数据是“这部电影很棒”，任务是判断情感是正面还是负面
- 教师模型的输入：“这部电影很棒”。
- 经过处理后输出数据（软标签）：[正面: 0.88, 负面: 0.12]。相当于是解题思路和答案
- 下一步学生模型训练需要的数据是类似下这个配对数据 ，简单理解为左边是问题，右边是解题思路和答案
- “这部电影很棒“ <—> 目标:[正面: 0.88, 负面: 0.12]
第二步：开始训练
- 输入数据输入：
- 将原始数据（例如“这部电影很棒”）输入到学生模型中。
- 答案：教师模型生成的软标签 [正面: 0.88, 负面: 0.12]。
- 学生模型接收输入数据，通过神经网络进行计算，生成预测概率分布。学生模型的输出可能是 [正面: 0.88, 负面: 0.11]。
- 计算损失
- 使用损失函数（如 KL 散度）比较学生模型的输出与目标软标签（答案）之间的差异（Loss）。
- 反向传播
- 根据损失值，计算损失函数对模型参数的梯度。通过反向传播算法，将梯度从输出层传递到输入层，逐层更新模型的参数。
- 参数更新
- 使用优化器（如 SGD、Adam）根据梯度更新学生模型的参数，使损失值逐渐减小。目标是通过多次迭代，让学生模型的输出越来越接近软标签。
这里可能会有人产生疑问：“在对 DeepSeek 进行蒸馏时，用于蒸馏的教师模型和通过互联网访问的普通模型是一样的吗？”
答案是否定的。用于蒸馏的教师模型和实际部署的模型通常是不同的，尽管它们可能基于相同的架构。教师模型通常更大、更复杂，主要用于生成软标签，为蒸馏提供指导。而部署模型则更注重效率，通常会经过量化、剪枝等优化，直接输出文字（针对生成式任务）或具体类别（针对分类任务）。简单来说，教师模型需要尽可能保持原始状态，具备全面的能力（“老师要啥都会”），而部署模型则是面向具体任务进行优化，不需要的部分可以去掉。