Home / 大语言模型 / 推理时扩展的评估协议：会找到答案，还要会选答案

100｜推理时扩展的评估协议：会找到答案，还要会选答案

论文：Hariri et al., Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility，2026。原始论文；正文 v1。

图表来源：Hariri et al., *Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility，2026，原文；CC BY 4.0。本篇展示做了PNG格式转换，图中数据与标签未改动。

先接住前作的问题

Self-Consistency聚合答案，推理时计算选择预算策略，留下共同问题：测到的是候选能力还是用户收到的结果？本篇梳理评价协议，再回查AutoTTS的固定轨迹池，是方法教学联系而非算法继承。

五个前置概念

理解本篇最需要五个概念：提议分布是实际解码规则产生的响应分布；聚合器将多个候选转成一个输出；因果停止只用当前已经看到的信息停止；条件不确定性是在固定部分实验条件后剩余的波动；参考答案泄漏是在本应未知答案的推理决策中使用答案信息。

一、问题设定：候选里答对过，怎样证明最终系统会选对

固定模型接收问题并提交最终答案，中间可生成、验证、扩展候选或停止。额外计算不必更新策略参数；评价对象应包括提示、采样、选择和终止规则，才能区分“十次中存在正确解”与“系统知道应交付哪一份”。

三类方法最容易混淆的地方是“样本数”。延长一条响应的两千个 token，与生成十条各两百 token 的响应，文本总量相同，但串行延迟、前缀复用、答案多样性和验证次数都不同。搜索树里共享前缀的十个叶子也不是十次彼此独立的重新作答。

论文 §2 的预算目标可写为

$G(B)=\mathbb E[U(\mathcal A_B(x))].$

$x$ 是问题， $\mathcal A_B$ 是预算 $B$ 下的完整推理算法， $U$ 是最终输出的任务效用。这个函数描述“加预算后系统表现怎样”，没有在定义中保证它必然单调。若验证器会被高分错误答案欺骗，更多候选也可能让选择错误更严重。

实际工程中，最好保留成本向量：生成 token、验证 token、GPU 时间、墙钟延迟、峰值显存与工具调用次数。把这些指标压成一个标量，需要先声明换算价格或服务约束。例如用户等待时间敏感的服务，不能仅凭总 token 更少就称更便宜。

二、区分单轨迹、聚合和前缀搜索的测量对象

单轨迹方法只维护一个未完成响应。追加反思或强制继续可能改变后续内容，但没有同时竞争的前缀。它的长处是控制简单，短处是早期错误可能持续影响后续推导。

叶级方法先生成完整答案，再投票或重排。这里有两个独立选择：取什么证据，以及如何使用证据。平均对数概率是一种证据，选择最高分是一种决策；把同一证据用于加权投票又是另一种算法。

前缀级方法在答案尚未完成时决定哪些分支继续。它需要估计“从这个中间状态出发还能否成功”，而不是只评价这句话是否流畅。错误剪枝可能永久删除正确路径，因此最终叶子的分布已经受到控制器影响。

下面是基于上述区分构造的教学伪代码，不是作者软件的逐行复刻：

设某题在一个固定、独立采样协议下单次成功概率为 $p$ 。以下是独立伯努利尝试的基础概率关系，也能帮助理解论文 §3.4 的指标族：

$P(\text{至少一次成功})=1-(1-p)^k,\qquad P(\text{每次都成功})=p^k.$

前者随次数增大，后者通常减小，二者并不矛盾。一个衡量覆盖，另一个衡量重复作答的可靠性。实际有限候选库不能直接把经验成功率代入后假装拥有无限独立样本；从同一库无放回抽取时，需要使用相应的组合计数。

用 $S_{k,t}$ 表示 $k$ 次中至少 $t$ 次正确的概率，可以把“偶尔会”到“稳定会”放在同一张曲线上。但这个曲线仍没有告诉我们最终投票结果，因为错误答案是否集中在同一个选项也影响投票。严格过半的正确答案足以获胜；正确答案不足一半时，如果错误互相分散，也可能获胜。

这里优化目标、算法机制和评价指标必须分开：最终效用是目标，采样与聚合是机制，Pass@k 是候选诊断。不能用一个较高的 Pass@k 直接替代系统提交答案的准确率。

有限候选库的分母，为什么不能直接换成独立采样公式？

若某题已有 $n$ 条候选，其中 $c$ 条正确，从库里无放回抽出 $k\le n$ 条，则恰好 $j$ 条正确的比例为

$\Pr_{bank}(X=j)=\frac{\binom cj\binom{n-c}{k-j}}{\binom nk}.$

$X$ 是子集内正确候选数； $\binom ab$ 表示从 $a$ 个对象中选 $b$ 个的组合数，非法范围取0。分子是在正确与错误两组分别选取，分母是全部等概率子集。把 $j=t,\ldots,k$ 相加，就得到该题“至少 $t$ 条正确”的有限库诊断；再对题目平均，才对应论文的库级评价剖面。

原创教学算例。 库中5条有2条正确，抽3条。一共有10个子集，只有“全选3条错误”这1个子集没有正确答案，所以候选覆盖为0.9；全3条都正确不可能，概率为0；至少2条正确的子集有 $\binom22\binom31=3$ 个，比例为0.3。若擅自把 $c/n=0.4$ 当作真实概率套入新鲜独立采样，覆盖会变成 $1-0.6^3=0.784$ 。两者测量对象不同，差异不是计算出错。

0.3是这个例子中正确答案严格占多数的比例，0.9是存在正确候选的比例；实际投票还取决于错误是否集中以及平票规则。因此同一个库能给出覆盖、稳定性与多数充分条件，却不能只凭正确条数重建所有聚合器的成绩。

最后，本文对来源数量也遵循相同原则：表1四块的条数相加为 $500661+192000+104160+1152000=1948821$ 。摘要的二十亿、引言的超过两百万不能同时由这张统计表支持。可核算总数只核验了表内算术，并未独立下载去重全部发布数据；版本冲突应原样披露。

因果停止必须在每个前缀上可重放

假设规则声称“前三条答案一致就停”，测试日志却先生成20条再挑其中相同的三条作为停止证据，就使用了未来信息。可按时间顺序逐条重放，每一步只暴露已付费生成与验证的结果，核对规则当时是否真的会停止；完整候选库可供分析，不能自动成为在线决策的可见状态。

三、保存生成、验证、选择与停止的完整账本

输入：问题集 Q、固定模型、解码配置、预算、选择规则
先在开发集冻结所有配置
for q in Q:
    bank = []; cost = 0
    while 预算允许且因果停止规则未触发:
        y = 按已声明协议生成候选(q)
        e = 只用在线可得信息计算证据(q, y)
        bank.append(y, e)
        cost += 生成成本 + 证据计算成本
    selected = 选择规则(bank)
    保存候选、证据、停止时刻、selected、cost
    # 标准答案到这一行才进入评估
    记录最终输出是否正确
    另外计算候选库的覆盖与稳定性诊断
对问题重采样；另做独立生成运行估计生成波动
输出：准确率—成本曲线，以及两种不确定性

关键限制在“只用在线可得信息”。如果停止器看到未来第十条会答对，于是在第九条停止或重分配预算，这就不再是可部署的策略。离线回放可以比较选择器，但省去的只是重复生成支出，不能把已经生成的候选当作在线免费资源。

自构例子，未运行。同一道题的四个答案是“7、8、8、9”，标准答案为 7。覆盖指标是成功，投票却失败。另一道题的四个答案为“7、7、8、9”，若平票规则不影响结果，投票成功。两题都有正确候选，却要求不同的选择能力。若评分器因为“8”的解释更长而给高分，继续生成同类长答案可能强化错误选择。

现在增加一个只检查单位的工具。它能排除“7 米/秒²”用于速度答案的错误，但不能证明保留下来的数值 7 正确。这解释了验证器覆盖范围的重要性：局部检查通过与完整答案正确之间仍有距离。实验应保存检查失败类型，而不只保存一个总分。

四、按候选库分母、误差带和验证成本解释曲线

Pass@k是候选诊断，选择曲线才涉及交付；若横轴未计验证计算，就不能据它宣布同总算力下系统更优。

下表聚焦原文中可明确定位的重复数学实验，避免把不同响应库合成一场统一预算的模型竞赛。

项目	设置与解释
任务与数据	附录 G.4：四组数学题，共 120 题
模型配置	20 个配置，每题 80 个响应，共 192,000 条
生成预算	温度 0.6、top-p 0.95、最长 32,768 token
对照	相同响应库上的投票、概率重排及验证器重排
重复与区间	G.2：中间预算配对子集回放；问题 bootstrap 区间条件于已生成库
验证信息	Compass 使用参考答案，只能作为辅助诊断
全部运行费用	本表所依据的实验没有给出可直接统一比较的完整费用总账

证据 1｜图5、表11：发现与选择的落差。Qwen3-30B-A3B-Thinking-2507 在该题集的 Pass@80 为 91.67%，字符串投票为 78.33%。相减得到 13.34 个百分点。这说明正确候选的存在没有充分转化为提交答案；不能推导一个未知的完美验证器必然能无成本填平差距。候选曲线横轴只计生成候选，明确排除验证计算；部分误差带反映配置分布，另一些是问题 bootstrap。先看图例定义，再比较选择器与 Pass@k 上界。

测试时采样预算、正确候选覆盖、排序一致性和答案选择器表现 — 原实验图摘引：Hariri et al.，2026，图5；核对原文。原版权保留。

证据 2｜同表：更多样本可能放大错误偏好。平均 token 对数概率重排从单样本 75.56% 降至 80 样本 65.83%。它支持对这一选择信号的警惕，不证明所有概率信息无用，也不证明所有模型都会如此。平均分同时受长度、措辞和模型校准影响，需要进一步干预才能区分原因。

证据 3｜图6：成本横轴的边界。横轴是候选数量，未包含验证计算。因此曲线可用于观察候选增加与聚合效果的关系，不能直接宣称验证器方案在同等总算力下胜出。这是论文自己限定的口径，而不是额外发现一个隐藏训练损失。

四种模型设置下多数投票、点式排序与pass@k上限的差距 — 原文图形摘引：Hariri et al., *Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility，2026，图6，PDF第20页；核对原文。

证据 4｜表1 与摘要：发布数量有冲突。表1 总计 1,948,821 条，正文称超过两百万，摘要写超过二十亿。三个表述不一致；应按逐块统计表描述规模，并等待版本澄清，不把最大数字用于传播。

上述数值与定位来自 v1 正文及附录。区间以问题为单位重采样，主要描述题目组成的不确定性；同一候选库重复抽子集，不能完整估计重新生成候选的波动。这也是为什么“能回放论文图表”和“独立运行得到兼容结论”应当分别报告。

五、固定响应库不能替代改变生成过程的在线复现

它没有通过共享响应库消除模型训练差异，也没有把验证器评分变成真值。不同题库、模型快照、解码器与响应长度仍然限制跨实验比较。固定库尤其适合研究聚合，但不天然验证一个改变生成过程的前缀搜索算法。

六、回到具体方法核查生成、选择与停止协议

回查Self-Consistency时固定答案归并，回查AutoTTS时固定可见轨迹与计费，再在新采样上独立复现。统一协议的目的正是让这些具体差异可见，而不是制造一个掩盖它们的总分。

自测：能回答这些问题，才真正掌握评估思想

1. Pass@80 为 90%，能否说用户有 90% 的概率得到正确答案？

不能。它描述候选集中是否出现正确答案，不包含可部署选择器的成功概率。只有系统确实能够识别正确候选，并且相应检查成本与信息条件允许，才可能接近这个覆盖上界。使用标准答案选答案只能计算诊断指标。

2. 给相同候选库换一个更好的验证器，能否证明整个推理系统更省算力？

不能直接证明。共享库控制了候选差异，适合估计选择器效果；总算力还要加验证开销，并在线运行相同停止规则。如果验证器需要大量额外 token，准确率提升也可能伴随更高总成本。

3. 保存随机种子，是否就足以复现推理实验？

不足。还要固定权重、分词器、提示模板、解码顺序、停止规则、数值精度及执行环境。即便完整保存某次轨迹，也只是支持精确回放；判断结论是否稳定，还需要与真实运行协议匹配的独立重复和不确定性估计。