095｜s1：少量示范与一个停止按钮，怎样改变推理预算

返回目录 · 发展时间线

论文：Muennighoff 等，s1: Simple Test-Time Scaling，2025。原文 · 正文 v1 · 官方代码与数据。讨论最初 s1-32B，避免混入后续训练版本。

先接住前作的问题

CoT让过程进入输出，推理时计算研究怎样分配更多尝试。本篇把终止控制单独拿出来：在成熟指令模型上精选示范，再决定何时继续或结束；与R1的在线奖励更新只能作平行比较。

五个前置概念

五个前置概念：SFT 模仿监督回答；解码策略 决定如何从概率分布生成文本；停止分隔符 标记推理与答案阶段切换；串行扩展 让后续计算依赖已有轨迹；Wilson 区间 描述有限二项样本下准确率的不确定性。

一、问题设定：模型会解题却过早或过晚结束时，怎样控制停止

研究起点是Qwen2.5-32B-Instruct，已经具有大规模预训练和指令知识。1000条样本只是最后一段适配；本篇要检验这段示范训练与停止策略分别改变什么，不能将最终能力全部归于千条样本或一个Wait词。

作者关注数学与科学推理，包括 AIME、MATH-500 和 GPQA Diamond。输入是题目，输出由推理文本与最终答案两段构成；测试时的额外控制发生在两段之间。这里没有在线环境奖励训练，也不应因为提到“反思”就把它划为强化学习算法。

核心假设是：强模型已经有不少可调用的解题能力，示范能够调整它表达和使用这些能力的方式；延长已有轨迹有时能修正错误。但额外生成也可能只是重复，控制长度只保证资源可控，不能保证新增内容有价值。

二、分开精选长推理监督与解码条件分布改变

s1K 如何选出来

候选池包含 59,029 道题，来自 16 个来源。作者用 Gemini Flash Thinking 生成推理与答案，并检查与评估题的 8-gram 重叠。随后排除 API 错误、格式损坏等样本，再根据难度与领域覆盖选择最终 1000 条，涉及 50 个领域。

难度使用两个信号：Qwen2.5-7B/32B-Instruct 能否答对，以及教师推理长度；Claude 负责部分正确性评价与领域分类。偏向当前基础模型不会做的题，确实可能提高适配效率，但该数据排序不一定适合另一种基础模型。长推理也可能来自低效尝试，不能当作题目难度的无误测量。

微调使用普通监督交叉熵：

$$\mathcal L(\theta)=-\sum_{(q,y)\in D}\sum_{t\in\mathrm{reasoning+answer}} \log p_\theta(y_t\mid q,y_{<t}).$$

$q$ 是问题，$y$ 是教师推理与答案；不对问题部分计算损失。它教模型模仿整段示范，不能逐条保证教师中间步骤的逻辑正确。

Budget forcing 如何运行

最大预算是硬控制，提示模型“最多想 2000 token”则只是软指令。后者要求模型自己准确计数，不一定可靠。延长是在同一轨迹上继续，因此属于串行扩展；多数投票同时生成多条独立轨迹，属于并行扩展。

屏蔽停止符，和从长回答中筛选，为什么不是一回事？

给定当前前缀 $h$，令结束思考token为 $e$，原分布为 $p(v\mid h)$。如果只将 $e$ 屏蔽而重新归一化，那么非结束token $v$ 的局部分布变成

$$p'(v\mid h)=\frac{p(v\mid h)}{1-p(e\mid h)},\qquad v\ne e.$$

若原来停止概率0.8、继续检查概率0.15、另开思路概率0.05，单纯屏蔽后两种续写概率成为0.75、0.25。模型参数没有改变，解码分布却已经改变。实际追加固定字符串Wait又进一步指定了新前缀，下一步从 $p(\cdot\mid h,\text{Wait})$ 继续；不能把它说成只删除一个token而完全保留其他行为。

按长度拒绝采样做的是另一件事：从原模型完整回答中筛到满足长度条件的样本。在固定抽样分布、每次独立且接受概率为 $a>0$ 的教学设定下，得到一条合格回答的期望尝试数是 $1/a$。若每条平均2000token、只有十分之一合格，平均付出约20000token才能留下一个样本，不能只记留下来的2000。

两种方式既改变不同的条件分布，也花不同的成本。原文表4中“只阻止结束”与“阻止并追加Wait”在MATH-500上的差异，正说明控制符之外的续写条件重要；但一次小规模比较不能证明Wait是所有模型、语言、任务中的通用最优指令。

论文评估三个维度：预算合规率、准确率随计算增加的平均斜率、测试预算中达到的最高准确率。若 $f(b)$ 是预算 $b$ 下的准确率，平均成对斜率可写为：

$$S=\frac{1}{\binom m2}\sum_{i<j}\frac{f(b_j)-f(b_i)}{b_j-b_i}.$$

正斜率说明所测区间总体有收益，不等于每道题或每个相邻预算都变好。更不能由某段曲线单调增长，推导它最终必然达到 100%；单调函数也可以收敛到更低的平台。

自构例子。 模型把 $17\times 19$ 错写成 313，正准备提交。插入 Wait 后，它改用 $17\times(20-1)=340-17=323$，成功纠错；另一道已经答对的题却可能被反复质疑后改错。我们应记录“错变对”和“对变错”两个方向，不能只展示一个漂亮纠错案例。

追加Wait后还要给最终答案留出空间

总输出上限若为4000token，已思考3900再追加继续指令，并不产生新的物理预算；最终答案最多只剩约100token，控制文本也要计入。实现应分别记录推理段预算、答案段预留与总硬上限，否则“延长思考”可能只是把可提交答案截掉。

教法联系：Lilian Weng的Prompt Engineering。算例为本文自构。

三、按预算截断或追加Wait并记录全部尝试成本

输入：问题、微调后的模型、最大思考预算 B、允许延长次数 K
进入思考段，逐 token 生成
如果思考 token 达到 B：
    写入思考结束分隔符与答案提示，开始输出最终答案
否则，如果模型试图结束思考且延长次数不足 K：
    阻止这次结束，向当前轨迹追加 Wait
    在已有轨迹上继续生成，延长计数加一
否则，允许正常进入最终答案
记录思考 token、答案 token、实际延迟与最终正确性
输出：一条完整回答；推理时不修改模型权重

四、对照SFT、停止规则、饱和区与训练截断

先拆SFT前后与有无BF，再看只屏蔽停止、追加Wait和超长预算；30题两题差异需连同不确定性解释。

论文主要以思考 token 衡量计算。对同一模型，这是有用的代理；真实部署还需算输入预填充、答案生成、重试和延迟。按长度拒绝采样会丢掉很多已付费生成，不能只数留下来的短回答。

证据 1：表1，基础适配与预算干预。 Qwen2.5-32B-Instruct 的 AIME 为 26.7，s1 无 BF 为 50.0，有 BF 为 56.7。数学能力变化的大部分发生在 SFT 前后，不能全部归于 Wait。相对 o1-preview 的 44.6，56.7 是约 27.1% 的相对增长，绝对差为 12.1 个百分点；也不能替换成对所有 o1 版本的胜利。

证据 2：表2，数据选择。 AIME 随机 1K 为 36.7、最多样 1K 为 26.7、最长 1K 为 33.3、s1K 为 50.0；完整 59K 为 53.3。表中 s1K 区间标为 ±16.8，显示小测试集不确定性很大。完整数据训练约 394 H100 GPU 小时，s1K 约 7 小时，支持最终微调的高样本效率，不能证明筛选成本为零。

证据 3：表3、表4，硬控制与触发词。 BF 的预算合规率为 100%，token 提示控制为 40%；仅忽略停止两次时 MATH 从 93.0 降到 90.2，插入 Wait 则保持 93.0。额外生成本身并不稳定有益；控制策略和生成内容共同决定结果。

证据 4：图4，扩展的尽头。 延长 2/4/6 次形成若干更高预算点，但收益在六次附近趋平，论文报告过度阻止结束可能引发重复。并行比较使用的是基础 Qwen，串行比较使用经过 s1K 微调的模型，因此图中差异不能单独证明串行计算普遍优于并行计算。 顺序扩展图最右三点分别阻止结束2、4、6次并追加 Wait；并行图则通过不同数量的独立答案投票，两个横轴预算不能只按调用次数视作等价。

证据 5：附录表7，训练截断。 4096 长度截去 74% 的训练样本，AIME 为 30.0，平均思考 20721 token；32768 长度不截断，AIME 为 50.0、平均 6984 token。更短的训练样本反而可能教出更长的测试轨迹，因为模型较少看到完整答案段。该实验使用其自身设置，不能把数字直接替换进主表。

五、小样本差异与基座能力限制简单扩展结论

主要贡献是提出一个容易检查的最小实验：固定成熟基础模型，精选少量示范，再把停止策略作为独立变量。它为推理模型研究提供了低成本入口，但没有证明千条样本总能补足任意模型的能力。

教师、领域分类器和基础模型共同影响选出的数据。8-gram 去重减少直接重合，不能保证没有语义改写或基础模型预训练污染。AIME 仅 30 题，单题变化就是约 3.33 个百分点，报告一个最优预算容易放大选择效应。

本文的分析是：停止策略值得研究，但应与“额外 token 是否真的改变决策”分开验证。更稳妥的对照是在同一个模型上同时比较不干预、串行延长、多数投票和验证器选择，并统一总 token 与延迟，而不是把不同后训练模型的曲线视作控制策略的纯消融。

六、从单轨迹停止转向多分支控制与完整账本

单轨迹控制之后，AutoTTS扩展到分支与探测，推理评估协议要求完整费用与停止记录。比较时同时统计错变对、对变错和最终答案是否按预算提交。

七、自测与答案

1. 1000 条训练样本为什么不等于只用 1000 条数据就获得全部推理知识？

答：模型已经预训练和指令微调，示范又来自强教师，并从约 5.9 万候选中筛选。千条是最终 SFT 子集的规模，不能替代对知识来源和研发计算的核算。

2. Budget forcing 与在提示里写“多想一会儿”有什么本质区别？

答：前者由外部程序直接处理结束符和 token 预算，能施加硬边界；后者仍让模型自行解释并遵守长度要求。硬控制保证可控性，至于延长后的内容是否有用仍需实验。

3. 为什么更短的训练上下文可能导致更长的测试推理？

答：截断往往留下推理开头却删去答案和结束阶段。模型因而更少学习如何完成回答，可能持续生成思考文本。应检查训练样本完成率与停止行为，而非假设短训练必然产生短答案。