技术解读 · 共 25 篇

训练方法 ·硬核 ·2026年7月18日 ·10 分钟阅读
Ring Attention:让百万级上下文训练成为可能的环形并行

Ring Attention 把超长序列切到多张 GPU 上,每张卡只持有一段 Q/K/V,按环形拓扑轮流交换 K/V 块。 关键是让「算当前块的 attention」和「传下一块 K/V」重叠,把通信藏到计算后面。 转一圈后每张卡都见过全部 K/V,于是上下文长度能随 GPU 数线性扩展,支撑百万 token 训练。

头条 训练方法 ·进阶 ·2026年7月18日 ·10 分钟阅读
GRPO:DeepSeek 用来训练推理模型的「去 Critic」强化学习方法

GRPO(Group Relative Policy Optimization)是 DeepSeek 在 DeepSeek-Math 和 DeepSeek-R1 中使用的强化学习算法。 它把 PPO 里的价值网络(Critic)砍掉,改用「一组采样取相对排名」来估计优势函数,显著降低训练成本。 这是开源社区能复现 o1 式推理模型的关键…