一文读懂大模型的「涌现 Emergence」问题
一文读懂大模型的「涌现 Emergence」问题
当模型的规模和训练参数达到一定的阈值时，模型的性能和泛化能力突然会出现显著提升 ，这种现象称为大模型的涌现现象。
“涌现能力”可谓是大模型的神来之笔：这些能力在 小规模模型中不存在 ，而仅在大规模模型中存在。涌现能力的神奇之处就在于两点：第一，锐利性，似乎它们瞬间从不存在变为存在；第二，不可预测性，不知道在什么规模的模型上就突现了。
定义
涌现能力是指一种系统在复杂性增加到某一临界点时，出现了其子系统或较小规模版本中未曾存在的行为或特性。在大模型中，这些能力通常是训练目标未明确设计但模型能够自动学会的技能，比如复杂推理、数学运算、多语言翻译能力等。
特征
不可预测性
涌现能力往往难以通过简单的参数增量推测。例如，模型的规模从10亿参数增加到1000亿参数时，可能出现超越线性增长的性能提升。非线性增长
模型性能和能力之间并非线性关系，而是随着规模或训练数据的变化，表现出突变或跳跃现象。任务依赖性
涌现能力并非普遍存在于所有任务中，某些任务（如逻辑推理）对规模更为敏感，而其他任务（如简单分类）可能无明显变化。模型规模门槛
涌现能力通常在模型参数量达到某一规模（如百亿或千亿参数级别）时开始显现，这与训练数据规模、算法优化程度密切相关。
原因
涌现能力的形成机制尚未完全明确，但以下几点是常见的理论解释：
复杂性与表征能力增强
模型规模增加后，其隐藏层的表征能力显著提升，能够捕获数据中的更复杂模式，从而赋予模型解决复杂问题的能力。数据分布的长尾效应
大规模数据训练使模型接触到更多低频或稀有模式，这些信息的积累可能触发涌现能力。神经网络的非线性特性
深度神经网络具有内在的非线性性质，随着规模增加，其表达空间和信息整合能力显著提升，从而催生涌现现象。优化算法的改进
大模型训练过程中采用了更加复杂的优化算法（如AdamW、梯度裁剪等），使得模型更容易收敛到捕获这些能力的参数空间。
形式
- 上下文学习（ICL）：模型仅通过查看给定的示例，无需调整内部参数，就能学会示例的特点并进行推测。
- 思维链（CoT）：通过提供人工编写的推理示例，教导大型语言模型如何进行推理。
这两种能力都是大模型推理能力的重要来源。
唤醒大语言模型的逻辑推理能力，通过提供逻辑推理示例，让大模型参考样例进行回答。在prompt的最后一句添加“let’s think step by step”，唤醒大模型的思维链能力。
涌现能力的临界点
- 不同涌现能力与对应参数的临界点不同。
- 例如，上下文学习最少需要130亿参数，思维链最少需要70亿参数。
- 模型规模越大，成本越高，因此研究如何缩小规模仍能产生涌现现象是当前的一个热点。
场景
涌现能力在大模型中的表现形式多种多样，以下为常见实例：
多语言处理
模型在未专门设计的情况下学会多语言翻译能力，例如GPT-4能够在多个语言间流畅切换并生成准确文本。推理与数学运算
随着规模增加，大模型展现出对逻辑推理和复杂数学运算的能力，例如解决方程、推导复杂问题等。代码生成与调试
类似Codex的模型可以生成、修复代码，这种能力随着参数规模增加变得更加精准。常识问答
模型能够通过上下文推理，生成符合逻辑的答案，甚至包括对开放性问题的深度分析。创造性输出
模型可以在艺术、文学等领域生成具有创造性的内容，例如诗歌、小说情节或设计建议。
总结
大模型的涌现能力是人工智能研究中的重要现象，它不仅展现了模型规模与表现能力之间的非线性关系，也引发了对其内在机制的深入探索。理解涌现能力不仅有助于提升模型性能，还能为人工智能的安全性、可靠性以及未来的设计提供重要参考。