技术解读 · 共 25 篇

头条 训练方法 ·进阶 ·2026年7月18日 ·10 分钟阅读
GRPO:DeepSeek 用来训练推理模型的「去 Critic」强化学习方法

GRPO(Group Relative Policy Optimization)是 DeepSeek 在 DeepSeek-Math 和 DeepSeek-R1 中使用的强化学习算法。 它把 PPO 里的价值网络(Critic)砍掉,改用「一组采样取相对排名」来估计优势函数,显著降低训练成本。 这是开源社区能复现 o1 式推理模型的关键…