o1也会「想太多」？腾讯AI Lab与上海交大揭秘o1模型过度思考问题

o1也会「想太多」？腾讯AI Lab与上海交大揭秘o1模型过度思考问题

o1类模型在展示出强大的逻辑推理能力的同时，也暴露出过度思考的问题。腾讯AI Lab与上海交通大学团队对此现象进行了深入研究，不仅定义了过度思考的指标，还提出了有效的缓解策略。

自OpenAI发布o1模型以来，其超强的逻辑推理和难题解决能力引发了广泛关注。o1模型通过模拟人类的深度思考过程，在思维链中运用自我反思、纠错以及探索多种解法等推理策略，展现了强大的长时间推理性能。然而，在o1成功的光环下，一个潜在问题逐渐被放大——过度思考。

随着o1模型的问世，许多类似的模型也陆续出现，比如Qwen团队开源的QwQ-32B-Preview以及Deepseek推出的R1-Preview模型。这些模型在推理时同样具备“深度思考”的特性，但也暴露出了类似的问题：在不必要的情况下生成过长的思维链反而浪费了计算资源。

传统模型的回答通常只需要极少的token就能给出答案，然而对于o1模型，其消耗的推理token直接达到了200以上。更极端的是，Deepseek-R1-Preview和QwQ-32B-Preview的token消耗甚至达到了900！为什么QwQ模型会产生如此之长的输出？研究团队进一步分析了QwQ对这个问题的答案，结果见下图右栏：

QwQ-32B-Preview模型会在推理过程中尝试多种不同的解题策略。对于简单的加法问题，模型探索了直接使用数学计算、数轴移动模拟，以及类比数苹果等方法，经历了多轮推理后才最终确定结果。尽管这种思维链策略对于复杂问题的解答非常有帮助，但在应对简单问题时，反复验证已有的答案和进行过于宽泛的探索显然是一种计算资源的浪费。

为了更好地研究这个问题，研究团队对这类o1模型的过度思考现象进行了更细致的定义和深入分析。

过度思考现象

文章首先定义了模型回复中的独立解答（Solution）：每当模型完整地得到一次对输入问题的答案（无论对错），这就被认为是一个独立解答。如例子所示，每一个解答都包含了答案“5”。基于这个定义，研究人员在三个不同的数据集上统计了Qwen-QwQ-32B-Preview模型和Deepseek-R1-Preview模型的解答数量分布（解答的判断和抽取由Llama-3.3-70B模型完成）：

其中，ASDIV [3] 是一个包含小学难度数学题的测试集，GSM8K [4] 是常用的初级难度数学题测试集，MATH500 [5] 是高中数学竞赛难度的测试集。如图所示，无论是对于QwQ模型还是R1模型，包含2-4个解答的样本占了所有样本的70%以上，可见这种Solution-Level的反思行为在当前的类o1模型中十分普遍。

那么这些解答本身是否都是必须的呢？下图展示了在不同数据集上，模型首次得到正确答案的解答位置：

令人惊讶的是，对QwQ模型和R1模型的实验分析显示，它们在超90%的情况下，都能在第一次尝试中就成功输出正确答案。也就是说，后续多轮思考对答案正确率的提升几乎没有实质性贡献。这一现象进一步验证了此前对模型过度思考的观察：绝大多数情况下，模型的多轮反思可能只是在反复验证已有的答案，从而造成了资源浪费。

然而，这种现象也引发了不同观点的争论。一些研究者认为，o1类模型的一个核心特性在于其能够自主探索问题的不同解法。从这一角度来看，如果模型在推理过程中使用了多种不同的思路来解决问题，那么这种多样化的探索不仅有助于加深模型对问题的理解，还体现了模型的自主探索能力，不应简单地视为“过度思考”。

为了更深入地剖析这一问题，研究团队进一步提出了一种分析方法。他们利用GPT-4o对模型的回答进行分类，具体包括以下步骤：

1. 推理策略分类：对每一个解答进行推理策略的标注，将采用相同推理方式的回答归为同一类。例如，对于“2+3=？”这样的问题，可能涉及的推理策略包括数学运算模拟、数轴移动和实物类比等。
2. 多样性分析：在归类的基础上，分析并统计不同解答之间的推理策略多样性。

通过这一方法，研究者能够量化推理过程中是否存在真正意义上的“多样化探索”。这种分析为我们提供了衡量模型行为的一种新视角：当模型的不同解答策略高度相似甚至重复时，可以说明多轮推理的贡献是有限的；而当推理策略的多样性伴随着思考层次的提升而增加时，则反映了模型对问题理解的进一步加深。这种视角能够帮助我们更准确地区分“有效的自主探索”和“低效的重复推理”。

如下图所示：

图中展示了每个位置的解答引入新推理思路的可能性。第一个位置的解答总会是“新的思路”，因此其概率为100%。但随着推理位置的后移，解答中带来新推理思路的可能性逐渐降低。这一趋势表明，越到后续位置，模型越倾向于重复先前的推理思路，从而导致其推理行为变得冗余且低效。从这个角度来看，模型的后续解答更多是一种无效的重复思考。

通过上述分析，我们可以发现这些过度思考所产生的解答往往具备以下两个关键特征：

1. 新解答对答案的正确性没有贡献：模型往往在一开始就已经成功得出正确答案，后续的多轮反复检验是多余且不必要的。
2. 新解答未能引入实质性新思路：模型后续的解答仅以不同的表述方式重复了早先已有的结论，而没有真正扩展推理的深度或视角。

过度思考指标

基于这一发现，研究团队进一步定义了两个衡量模型“过度思考”现象的核心指标：

1. 产出效率（Outcome Efficiency）：用于衡量模型回复中每一个解答对最终答案的贡献，等于正确解答中的token数除以完整回复的总token数。计算公式为：

其中，N为样本数，

为模型第i个样本的回复中第一个正确解答的token数目，

为第i个样本的整个回复的token数量，

代表第i个样本是否正确。直观地看，一个模型得到正确解答之后进行反思的轮数越少，正确解答在整个回复中的占比就越大，产出效率就越高。

2. 过程效率（Process Efficiency）：用于衡量模型回复中每一个解答对推理策略多样性的贡献，等于回复中属于不同思路的总token数目除以整个回复的token数目，计算公式为：

其中N为样本数，

为第i个样本的整个回复token数量，

为第i个样本中所有属于不同推理策略的token总数。该指标衡量的是模型进行多轮反思的有效性，回答中涉及的不同的推理策略越多，

就会越大，那么过程效率就会越高。

基于这两个指标，研究者们统计了QwQ模型和R1模型在MATH500数据集上的效率指标表现：

从图中可以观察到，R1模型在效率上略优于QwQ模型，但两个模型都不同程度地暴露出“过度思考”的问题。对于难度最低的等级1问题，研究者发现两个模型的表现都有如下特点：

1. 产出效率不足一半：两个模型在这种简单任务上的产出效率均未超过50%，意味着模型在取得正确答案后，依然生成了超过必要推理步骤至少一倍的额外推理内容。这符合上文的研究发现：正确答案通常在推理的较早阶段得到，但模型的后续行为中存在大量冗余推理。
2. 思考过程效率较低：模型的整体过程效率只有70%左右，这意味着约30%的思考步骤是在重复无效的推理。这种重复的行为不仅未能提升正确率，也没有引入新的解题思路，从而造成了计算资源的浪费。

从以上分析可见，现有的o1类模型都普遍存在不同程度的“过度思考”现象，且这一问题在应对简单任务时尤为严重。这些现象突显了当前o1类模型推理机制中的不足，也意味着在模型的长思维链优化和推理资源分配方面仍有较大的改进空间。为此，研究者们提出了几种方法，旨在缓解模型的过度思考现象，提升推理效率。

缓解过度思考

由于目标是减少模型的过度思考但不损害模型的推理能力，因此最直接的想法就是通过偏好优化算法来鼓励模型生成更精简的回复。研究者们使用开源的Qwen-QwQ-32B-Preview模型作为实验的基座模型，基于该模型在PRM12K [10]的数据集上的多次采样结果，选择最长的模型回复作为偏好优化的负样本，而对于正样本的选择，有如下几种策略：

1. 最短回复（Shortest Response）：使用模型采样结果中最短的生成结果作为正样本。
2. 首个正确回答（First-Correct Solutions, FCS）：使用模型采样结果中最短的首次得到正确答案的解答作为正样本，抛弃所有后续的思考。
3. 首个正确回答+验算（FCS+Reflection）：由于绝大多数的采样结果都是在第一个解答中就出现了正确答案，仅保留首个正确回答可能会使得模型退化，因此研究者们在第一次得到正确答案后，额外保留了一轮反思的内容。
4. 最多样回复（Greedily Diverse Solutions，GDS）：除了单纯地对长度进行控制，另一个优化思路是尽可能保留更多样化的思考轨迹，因此研究者们在FCS方法的基础上，尽可能多地保留了包含不同推理策略的解答。

基于以上几种偏好数据，研究者们尝试了最基础的SFT以及多种偏好优化算法，如DPO [6]，RPO [7][8]以及SimPO [8]。实验结果如下：

表格中的SFT方法是指仅使用正样本进行微调。从表格中可以看出，在同样的“最短回复”设置下，SimPO有着最好的优化效果，而基于SimPO的进一步实验表明，使用首个正确回答+验算作为正样本的策略能够很好地取得效率和性能的平衡，能够在保持模型性能的同时大幅度地减少输出的token数目以及平均解答轮数，并有效地提高产出效率和过程效率。

为了进一步分析方法的有效性，研究者们分析了MATH500测试集的不同难度下SimPO+FCS+Reflection方法的表现，如下图所示：

有意思的是，文中提出的方法在最简单的难度1的问题上，仅使用了相比于原来63.6%的token数目便达到了100%的正确率，而且在难题（难度4和5）上，文中的方法能够在提升性能的同时大幅度减少输出的冗余，这展示了提出的方法在减缓过度思考上的有效性。

总结

这篇论文聚焦于o1类推理模型面临的一个核心挑战：如何合理控制推理过程中的计算量，提升思考效率。文章通过分析实验揭示了一个普遍问题——o1类模型在处理简单问题时容易陷入过度思考，从而增加了不必要的计算消耗。基于对此现象的详细分析，研究者提出了一系列有效的优化方法，能够在保持模型性能的同时，大幅减少冗余推理，提升推理效率。这些方法的实验结果表明，它们显著优化了模型在简单任务上的资源利用情况，为实现“高效思考”的目标迈出了重要一步。

未来的研究将重点探索以下方向：

1. 自适应调控策略：开发让模型根据问题复杂程度动态调整推理深度的机制，更智能地分配计算资源；
2. 更精细的效率评估指标：设计能够覆盖更广泛推理轨迹的指标，从而更全面地评估模型的思考效率。

这项研究不仅提升了o1类模型的推理，同时也为未来更高效、更智能的推理机制提供了重要的理论基础与实践参考。