大模型的推理引擎之思维链(Chain of Thought，CoT)技术

大模型的推理引擎之思维链(Chain of Thought，CoT)技术

思维链（Chain of Thought，CoT）技术是近年来AI领域的重要进展，它通过让大模型逐步参与将一个复杂问题分解为一步一步的子问题并依次进行求解的过程，显著提升了大模型的性能和表现能力。本文将详细介绍思维链技术的原理、结构、实现方式以及优缺点。

什么是思维链技术？

强大的逻辑推理是大模型“智能涌现”的核心能力之一，使得AI像真正的人类一样，拥有了自己的“意识”，而推理能力的关键就在于思维链。

什么是思维链(CoT)?

简单来说，思维链是一种改进的Prompt技术，用于提升大模型在复杂推理任务上的表现，特别是涉及到推理和多步骤思考的问题，而这一系列推理的中间步骤就被称为思维链。

通过让大模型逐步参与将一个复杂问题分解为一步一步的子问题并依次进行求解的过程可以显著提升大模型的性能和表现能力。

思维链产生的原因

在这一年多的百模大战中，国内外很多企业相继推出自己的大模型，而且模型的规模和性能也在不断提升；展现了很多令人吃惊的能力，比如文本生成，内容摘要，问答等。

但虽然大模型很强大，但大模型在某些方面依然有所欠缺，类似于GPT这种强大模型也有频频翻车的案例出现；比如在数学计算，逻辑推理等方面表现较差。

而这正是思维链可以解决的问题，思维链通过要求模型在输出最终答案之前，显示输出中间逐步的推理步骤这一方法来增强大模型在数学，常识和推理方面的能力。

2022年在谷歌发布的论文《Chain-of-Thought Prompting Elicits Reasoning in Large LanguageModels》中首次提出了思维链，思维链就是一系列中间的推理步骤。

思维链实现方式

区别于传统的Prompt从输入直接到输出的映射方式，CoT完成了从输入到思维链再到输出的映射，即<input——>reasoning chain ——> output>；如果将使用CoT的Prompt进行分解，可以更加详细的观察CoT的工作流程。

一个完整的包含 CoT 的 Prompt 往往由指令（Instruction）、逻辑依据（Rationale）、示例（Exemplars）三部分组成。

• 指令：用于描述问题并且告知大模型的输出格式；
• 逻辑依据：指 CoT 的中间推理过程，可以包含问题的解决方案、中间推理步骤以及与问题相关的任何外部知识；
• 示例：指以少样本的方式为大模型提供输入输出对的基本格式，每一个示例都包含：问题，推理过程与答案。

以是否包含示例为区分，可以将 CoT 分为 Zero-Shot-CoT 与 Few-Shot-CoT：

• Zero-Shot-CoT 不添加示例而仅仅在指令中添加一行经典的“Let’s think step by step”，就可以“唤醒”大模型的推理能力。
• Few-Shot-Cot 则在示例中详细描述了“解题步骤”，让模型照猫画虎得到推理能力。

CoT大幅度提高了大模型在复杂推理任务上的表现，并且输出的中间步骤方便使用者了解模型的思考过程，提高了大模型推理的可解释性。

目前，思维链已经成为大模型处理复杂任务的一个常用手段。

思维链原理与结构

CoT具有如此强大的功能，但其类似于大模型的智能涌现一样，目前并没有一套可以被广泛接受的理论来说明CoT为什么会生效。

但在一些实验或者说测试中，CoT表现出一些有意思的现象：

• 规模小的模型会导致CoT失效
• 简单的任务CoT不会对模型性能带来好处
• 训练数据内部彼此互相联结程度的增加可以提升CoT的性能
• 示例中的错误或者无效推理步骤不会导致CoT的性能下降

什么时候使用CoT?

CoT一般应该应用于20B以上参数规模大模型中，并且训练数据应该与任务问题相关且彼此相互有较强的联结。

从工程角度而言，CoT的适用场景可以抽象概括为以下三点：

• 需要使用大模型(参数量至少在20B以上)
• 任务需要经过复杂推理
• 参数量无法在显著提升模型的性能

总之，CoT更加适合复杂的推理任务，比如数学，编程等；而不适用于简单的选择，序列标记等任务。

CoT的构造

CoT有两种构造方式，分为人工构造和自动构造：

• 人工构造：质量高，但成本也高，不容易优化和迁移，比如Few-shot Cot
• 自动构造：分为Zero-shot CoT和Auto CoT等；但质量一般会比较差。

CoT的优缺点

优点

CoT 的能力已经被无数工作所验证，归纳为以下四点：

1. 增强了大模型的推理能力：CoT 通过将复杂问题分解为多步骤的子问题，相当显著的增强了大模型的推理能力，也最大限度的降低了大模型忽视求解问题的“关键细节”的现象，使得计算资源总是被分配于求解问题的“核心步骤”；
2. 增强了大模型的可解释性和可信度：对比向大模型输入一个问题大模型为我们仅仅输出一个答案，CoT 使得大模型通过向我们展示“做题过程”，使得我们可以更好的判断大模型在求解当前问题上究竟是如何工作的，同时“做题步骤”的输出，也为我们定位其中错误步骤提供了依据；
3. 增强了大模型的可控性：通过让大模型一步一步输出步骤，我们通过这些步骤的呈现可以对大模型问题求解的过程施加更大的影响，避免大模型成为无法控制的“完全黑盒”；
4. 增强了大模型的灵活性和创造性：仅仅添加一句“Let’s think step by step”，就可以在现有的各种不同的大模型中使用 CoT 方法，同时，CoT 赋予的大模型一步一步思考的能力不仅仅局限于“语言智能”，在科学应用，以及 AI Agent 的构建之中都有用武之地。

总之，思维链是一项强大的利用大模型推理能力的技术，但它也并不是完美无缺的。