Meta新研究：将System 2深度推理能力注入System 1大模型
Meta新研究：将System 2深度推理能力注入System 1大模型
在人工智能领域，大模型的System 1和System 2思维模式一直是研究热点。近日，Meta FAIR研究团队提出了一种将System 2蒸馏到System 1的方法，通过在未标记的数据上运行System 2方法来收集过滤的训练样本，然后使用额外的计算产生更高质量的输出。这种方法在OASST2和MT-bench两个基准测试中都取得了不错的效果。
System 1与System 2：两种不同的认知处理模式
System 1和System 2的思维模式最早由诺贝尔经济学奖得主丹尼尔·卡尼曼（Daniel Kahneman）在其著作《思考，快与慢》中提出。这两种模式分别代表了人类思维的两种不同处理方式：
System 1：快速、自动且直观，几乎无需费力即可操作。这种思维模式使人类能够根据模式和经验做出快速决策和判断。
System 2：缓慢的、深思熟虑的和有意识的，需要有意识地努力。这种类型的思维用于复杂的问题解决和分析任务，在这些任务中需要更多的思考和考虑。
以上下班路线选择为例：通常情况下，人们会习惯性地选择固定的路线和站点，这体现了System 1的快速决策特点。而当遇到特殊情况（如地铁停运）时，就需要启动System 2，分析各种替代方案（公交车、步行、打车等），以选择最优路线。
大模型中的System 2技术
在大模型领域，研究人员已经提出了一系列System 2技术，包括思维链（COT）、思维树、思维图、分支解决合并（BSM）、System 2 Attention（S2A）、Rephrase and Respond (RaR)等。这些技术通过显式推理来提高模型的准确性和可靠性，但同时也带来了更高的计算成本和响应延迟。因此，在实际应用中，大多数系统仍然采用效率更高的System 1模式。
System 2到System 1的蒸馏方法
Meta FAIR的研究团队提出了一种创新方法，试图将System 2的优势融入到System 1中。具体步骤如下：
- 在未标记的数据上运行System 2方法，收集高质量的训练样本。
- 利用额外的计算资源对这些样本进行处理，生成更高质量的输出。
- 将这些经过优化的训练数据用于训练System 1的LLM。
这种方法在两个流行基准测试中都取得了良好效果：
- OASST2验证集：包含273个样本，评估结果显示该方法能够显著提升模型性能。
- MT-bench：用于评估LLM在充当有用的AI助手时的表现，涵盖写作、推理、数学、编码等多个领域。
然而，研究也发现这种方法存在局限性。在某些特定任务（如GSM8k数学问题）上，System 2蒸馏方法的性能并不理想。这表明，虽然该方法在许多场景下有效，但并非适用于所有情况。未来的研究需要进一步探索在哪些场景下应该应用蒸馏，以及何时不适用。
BSM架构示意图：先进行分支处理，然后独立解读，最后合并结果
实验结果对比：新方法在多个指标上优于基线模型
不同解码超参数下的性能表现：部分场景效果不佳
结语
这项研究为大模型的优化提供了新的思路，即通过将System 2的深度推理能力与System 1的高效执行能力相结合，有望在保持高性能的同时降低计算成本。然而，要实现这一目标，还需要进一步的研究来完善蒸馏算法，并明确其适用场景。
本文原文来自CSDN博客，作者Janexjy。