仅用 8 张显卡和一万块钱，清华团队用7B模型打败GPT-4o数学推理

创作时间:

作者:

@小白创作中心

仅用 8 张显卡和一万块钱，清华团队用7B模型打败GPT-4o数学推理

引用

网易

https://www.163.com/dy/article/JLA0SOCJ05566ZHB.html

近日，清华大学NLP实验室联合上海AI Lab、清华大学电子系及OpenBMB社区提出了一种新的结合过程奖励的强化学习方法——PRIME（Process Reinforcement through IMplicit REwards）。采用PRIME方法，研究人员不依赖任何蒸馏数据和模仿学习，仅用8张A100，花费一万块钱左右，不到10天时间，就能高效训练出一个数学能力超过GPT-4o、Llama-3.1-70B的7B模型Eurus-2-7B-PRIME。

研究背景与方法

长久以来，开源社区严重依赖数据驱动的模仿学习来增强模型推理能力，但这种方法的局限也显而易见——更强的推理能力需要更高质量的数据，但高质量数据总是稀缺，使得模仿和蒸馏难以持续。虽然OpenAI o1和o3的成功证明了强化学习有着更高的上限，但强化学习有着两个关键挑战：（1）如何获得精准且可扩展的密集奖励；（2）如何设计可以充分利用这些奖励的强化学习算法。

PRIME算法从隐式过程奖励（implicit process reward）的思想出发解决这两个问题。隐式过程奖励模型可以仅在输出奖励模型（outcome reward model, ORM）的数据，即答案的最终对错上进行训练，而隐式地建模过程奖励，最终自动训练出一个过程奖励模型，这整个过程都有严格的理论保证。

基于隐式过程奖励模型的这种性质，研究人员指出将其应用于强化学习有三大优势：

过程奖励：隐式过程奖励模型能够为每个token提供价值估计，在提供过程奖励的同时无需训练额外的价值模型（value model）
可扩展性：隐式过程奖励模型只需结果标签即可在线更新。所以，我们可以结合策略模型采样与结果验证器来直接更新PRM，有效缓解分布偏移与可扩展性问题。
简洁性：隐式过程奖励模型本质上就是一种语言模型。在实践中，研究人员发现可以直接用初始的策略模型初始化PRM。

隐式过程奖励解决了PRM在大模型强化学习中怎么用，怎么训，怎么扩展的三大问题，甚至不需要训练额外的奖励模型就可以开始强化学习，易用性和可扩展性极佳。

具体的PRIME算法流程如下图所示，它是一种在线强化学习算法，能够将每个token的过程奖励无缝应用于强化学习流程中。

实验结果

研究人员详细比较了PRIME算法和基线方法。相比于仅用结果监督，PRIME有着2.5倍的采样效率提升，在下游任务上也有着显著提升。研究人员还验证了PRM在线更新的重要性，可以看到，在线的PRM更新要显著优于固定不更新的PRM，这也证明了PRIME算法设计和合理性。

此外，研究人员还额外收集数据，基于Qwen2.5-Math-Instruct训练了SOTA水平的EurusPRM，能够在Best-of-N采样中达到开源领先水平。

应用场景

研究人员利用Qwen2.5-Math-7B-Base作为基座模型，训练出了新模型Eurus-2-7B-PRIME，并在美国IMO选拔考试AIME 2024上的准确率达到26.7%，大幅超越GPT-4o、Llama3.1-70B和Qwen2.5-Math-7B-Instruct，且仅使用了Qwen Math数据的1/10。其中，强化学习方法PRIME为模型带来了16.7%的绝对提升，远超已知的任何开源方案。