Home / 大语言模型 / DeepSeek-R1：奖励正确答案，为什么能改变解题过程

094｜DeepSeek-R1：奖励正确答案，为什么能改变解题过程

论文：DeepSeek-AI，DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning，2025。原文 · 正文 v1 · 官方仓库。采用首版报告，不把后续版本或其他复现的参数补写成 v1 已报告的设置。

先接住前作的问题

DeepSeek-V3提供强基础模型，DeepSeekMath提供直接继承的GRPO框架。本篇追问可验证结果能否塑造更长的解题与检查行为；s1主要用示范和停止干预，是平行路线而非同一种训练。

五个前置概念

五个前置概念：策略梯度 根据回报调整生成概率；优势表示相对基线的好坏；KL 约束 限制策略偏离参考分布；拒绝采样 保留满足检查条件的候选；蒸馏让学生学习教师输出所携带的信息。

一、问题设定：只验证结果时，强基座怎样形成更可靠的长解题行为

R1-Zero排除的是冷启动SFT，不排除预训练知识、人工题目、标签和奖励设计。完整R1交替监督与RL，R1-Distill在Qwen或Llama基座上模仿教师，表5版本只有学生SFT。三者的信息来源不同，需先固定研究对象再比较长推理收益。

强化学习状态可以看成问题与已生成前缀，动作是下一个 token，终止发生在输出结束或长度达到上限，奖励来自整段回答的正确性、格式等检查。环境转移主要是把生成 token 接到前缀后；数学验证器并不是一个会替模型推导的世界模型。

困难在于信用分配：最后答案正确，不代表每个中间句子都可靠；答案错误也不代表每一步都错。论文依赖足够强的基础模型，能够采样出有区别的候选解。如果所有回答都失败，结果奖励就很难告诉模型哪条路径更值得继续探索。

二、推导组内奖励与筛选后监督分布的差别

GRPO 的作用

对于问题 $q$ ，旧策略生成 $G$ 个回答，奖励为 $r_i$ 。组相对优势是：

$A_i=\frac{r_i-\bar r}{\operatorname{std}(r_1,\ldots,r_G)}.$

这里的基线来自同组回答，而非单独训练的 critic。优势回答一个相对问题：“这次回答比本题其他尝试更好吗？”它不能直接比较不同题目的绝对难度。当全组奖励相同，标准差为零，需要实现层面的处理；v1 没有详细交代该边界，不应自行给出某个稳定项并声称是原配置。

以 $\rho_i=\pi_\theta(o_i|q)/\pi_{old}(o_i|q)$ 表示策略概率比，报告式（1）的裁剪项为：

$\min\{\rho_i A_i,\operatorname{clip}(\rho_i,1-\epsilon,1+\epsilon)A_i\} -\beta D_{KL}(\pi_\theta\Vert\pi_{ref}).$

$\epsilon$ 限制对旧策略的激进更新， $\beta$ 调节偏离参考模型的程度。原文用整段输出写出概括公式；不能据此臆造实际训练内核的 token 归一化和全部超参数。它继承 DeepSeekMath 的 GRPO，不是 R1 首次提出该算法。

奖励与四阶段流程

R1-Zero 主要采用正确性与格式奖励，不使用神经网络结果奖励或过程奖励模型。代码检查通常检查测试是否通过，数学检查提取指定格式的答案；正确性来自验证规则，不来自回答里“我已经验证”的自述。

完整 R1 先用数千条长推理示范冷启动，随后执行推理 RL。为减少混合语言，又加入目标语言词比例奖励；作者承认这会略微降低部分推理表现。之后收集约 600K 推理样本与 200K 通用样本，重新微调 V3-Base 两轮，再执行面向推理与通用偏好的 RL。

这段流程里最容易读错的是“重新微调 V3-Base”：后续 SFT 不是简单在前一 RL 检查点上接着训练。筛选后的回答把前阶段探索结果转化为监督数据，新的基础模型借此吸收比较干净的行为模式。

从RL探索到SFT示范：筛选改变了哪一个分布？

把成熟RL教师对题目 $q$ 的回答分布记为 $p_R(o\mid q)$ ，判题与过滤器的接受指示记为 $V(o,q)\in\{0,1\}$ 。若从同一题反复采样并保留通过者，理想化的保留分布是

$p_{keep}(o\mid q)=\frac{p_R(o\mid q)V(o,q)}{Z(q)},\qquad Z(q)=\sum_o p_R(o\mid q)V(o,q).$

这里要求 $Z(q)>0$ ； $Z(q)$ 是教师通过过滤的概率。学生SFT模仿的是这个被选择过的分布，不是教师未经筛选的全部输出。因此完整R1中重新从V3-Base做SFT有明确作用：把探索得到的、经筛选的行为重新写入一条较干净的监督训练路径。论文还加入可读性过滤与通用数据，真实混合并不只有上面的二元正确性门。

原创教学核算。 假设教师原始回答20%真正正确，检查器接受90%的正确回答，却也接受10%的错误回答。每100次采样平均保留18条正确与8条错误，通过者的实际正确率是 $18/(18+8)\approx69.2\%$ ，并非90%或100%。检查器提高数据质量的同时仍会留下系统误差；若真实正确率更低，相同误报率的伤害还会更大。这些数值只用于演示过滤精度，不是R1实测。

还需把“答案通过”和“推导通过”分开：若 $V$ 只检查最终数值，筛选分布仍可能包含错误但碰巧得到正确答案的中间文字。学生会模仿这些文字。因而蒸馏能搬运有用行为，却不能把结果验证自动升级为每步逻辑认证。

自构例子。 同一道算术题采样四次，奖励为 $[1,0,0,1]$ 。组平均为 0.5，使用总体标准差时优势为 $[1,-1,-1,1]$ 。成功轨迹被相对加强，但这不会逐句证明其中每一步正确。若四个答案全错，组内便没有相对信号；增加一个更强示范或改变采样策略可能比重复同样失败更有效。

过滤后的题目分布也可能偏向教师已会的区域

若每道题只采固定次数，易题更常产生通过样本，难题可能一条也没有。即使保留样本的正确率高，学生见到的题目权重也已改变。应分别统计每题通过概率、保留数量和未覆盖题，再区分“答案更干净”与“课程更偏向易题”；两者可能同时发生。

三、区分Zero、完整训练与学生SFT三条流程

输入：V3-Base、可验证训练问题、通用任务数据
Zero 路线：
    直接从基础模型重复采样同题回答
    用正确性与格式规则评分，计算组相对优势
    用 GRPO 更新策略，跟踪正确率和回答长度
完整 R1 路线：
    基础模型 ← 数千条可读长推理示范的 SFT
    执行推理 RL，并加入语言一致性约束
    从成熟 RL 模型采样并过滤，获得推理示范
    混合通用样本，重新对 V3-Base 做 SFT
    执行混合规则奖励与偏好奖励的最终 RL
蒸馏路线：
    用约 800K 筛选样本对小模型做 SFT
输出：三类不同训练来源的模型，分别评价

四、联合读取正确率、长度、退步和蒸馏对照

Zero曲线衡量同一强基座上的RL变化，完整R1和蒸馏表另有监督与采样预算；长度同步增长不是单独延长的因果证据。

项目	报告设置及解释
大模型基础	V3-Base，671B 总参数、每 token 37B 激活；不能把稀疏激活量当完整存储量
监督数据	冷启动仅报告数千条；后续约 800K、两轮；完整内容和所有过滤参数未报告
大规模 RL 预算	v1 未给出足以重建完整训练的采样批次、总 token、全部学习率和 GPU 小时
小模型 RL 对照	§4.1：Qwen-32B 基础上进行超过 10K 步数学、代码、STEM RL
采样评估	温度 0.6、top-p 0.95，输出上限 32768；按任务每题通常采样 4—64 个回答
Pass@1	对多次独立回答的正确指示取平均，估计一次随机回答的成功率；不是从中挑一个最优答案
cons@64	64 个回答的多数投票；需要额外推理预算，与 Pass@1 不同
工程与模型裁判	SWE-bench Verified 用 Agentless；开放回答评估只向裁判提供最终摘要
对照口径	o1-1217 成绩引用官方报告，并非所有模型都在同一实验平台重新测量
不确定性	采样重复有助估计输出随机性，但不能替代多个独立训练种子；v1 未完整报告训练间方差

正确性奖励与真实需求之间仍有距离：通过有限代码测试可能遗漏边界错误，数学答案正确可能掩盖无效推导。只展示最终成绩无法证明不存在奖励投机，也不能把可验证任务的收益自动推广到无法快速检验的开放式任务。

证据 1：图2、表2，Zero 的改善。 AIME 2024 的平均 Pass@1 从 15.6 到 71.0，提高 55.4 个百分点；cons@64 为 86.7。图2 每题采样 16 次跟踪训练。它支持无冷启动 SFT 的 RL 能在该基础模型上改善成功率，不能支持“从空白模型学出推理”。准确率图对每题采样16次求平均，长度图统计训练过程中的平均回答长度；两条曲线共同上涨不构成“任意延长回答都会更准”的干预证据。

DeepSeek-R1-Zero的AIME正确率在强化学习训练中的变化 — 原实验图摘引：DeepSeek-AI，2025，图2；核对原文。原版权保留。

证据 2：图3、表3，长度与重新检查。 图3 显示训练集回答长度增加，表3 展示重新审视推导的个案。这些是行为观察，没有严格隔离长度、采样分布与策略变化的因果实验；个案也不能证明产生了人类式意识或稳定的内部自我验证机制。

DeepSeek-R1-Zero训练过程中每次回答的平均长度变化 — 原实验图摘引：DeepSeek-AI，2025，图3；核对原文。原版权保留。

证据 3：表4，R1 的强项与退步。 AIME 为 79.8，V3 为 39.2；GPQA 为 71.5、V3 为 59.1。相反，IFEval 为 83.3、V3 为 86.1；C-SimpleQA 为 63.7、V3 为 68.0。论文对事实问答下降提出安全拒答解释，但不能由此把所有错误都归结为拒答。

证据 4：表5，蒸馏后的模型。 Qwen-7B 蒸馏版 AIME 为 55.5、MATH-500 为 92.8；Qwen-32B 为 72.6、94.3。这是模型、教师示范和较长输出预算共同作用的结果。较小参数量不代表教学数据免费，也不代表所有任务都超过更大的通用模型。

证据 5：表6，蒸馏与直接 RL。 32B 直接 RL 的 AIME 为 47.0，蒸馏版为 72.6；LiveCodeBench 为 40.2 与 57.2。该对照说明作者所用方案中蒸馏更强，但两者信息来源不同，完整计算也未严格配平，因此不能推出所有小模型 RL 都不如蒸馏。

五、结果奖励与过滤器不能逐步认证推导

R1 的贡献是展示一套可见的推理后训练路线，以及 RL 探索结果如何转成监督数据供更小模型学习。它既没有发明预训练，也没有证明 SFT 无用；完整系统恰恰组合了多种监督来源。

§4.2 报告了过程奖励与 MCTS 尝试不成功的经验：步骤划分困难、价值判断不准、训练搜索代价高。这些失败有助于理解工程选择，但作者也明确没有否定这些方法未来的可能性。

§5 承认函数调用、多轮、复杂角色扮演和 JSON 输出仍弱于 V3；其他语言还会出现混合输出。软件工程任务的验证慢，限制了大规模 RL 的使用。这里的分析是，奖励反馈的速度与可靠性会塑造能力分布：容易批量验收的数学、竞赛代码，更容易成为强化学习率先取得进展的领域。

六、用监督与终止控制对照长推理RL路线

用s1对照监督示范与终止干预，再用DAPO检查长推理RL中的采样、裁剪和长度归约。两条路线分别改变推理控制与训练信号，不能由输出变长认定相同机制。

七、自测与答案

1. R1-Zero 的 Zero 到底排除了什么，又没有排除什么？

答：它排除了 RL 前的冷启动 SFT；没有排除基础模型预训练、人工设计的任务与答案、格式约束及奖励规则。因而证据针对强基础模型上的后训练方式，不能解释成无知识起点的自发学习。

2. 采样 64 次估计 Pass@1，与 cons@64 的部署成本含义有什么不同？

答：前者用多次实验估计一次随机作答的平均成功率，实际一次回答仍可只生成一条；后者的预测方法本身依赖 64 条回答及投票，部署时也须承担这笔采样成本。

3. 只奖励最终正确，为什么不能把生成的推理文字当成经过证明的解释？

答：结果奖励只检验终点，可能保留错误但被后续修正的步骤、偶然得到答案的路径，甚至与答案没有因果关系的文字。需要额外的步骤检查、干预或形式验证，才能提高对解释本身的信任。