DeepSeek的GRPO算法：一种创新的在线学习方法

DeepSeek的GRPO算法：一种创新的在线学习方法

引用

CSDN

1.

https://blog.csdn.net/universsky2015/article/details/145550593

paper: https://arxiv.org/pdf/2402.03300

在大语言模型(LLM)的强化学习微调阶段，Group Relative Policy Optimization (GRPO)算法作为一种创新方法崭露头角。GRPO是一种在线学习算法，其核心思想是通过评估一组响应之间的相对关系来优化模型，而不是依赖外部评估者。这种方法显著提高了训练效率，特别适用于需要复杂问题解决和长链思维的推理任务。

GRPO算法的主要特点包括：

1. 组抽样：对于给定状态，使