069 · GPT-4技术报告：如何阅读一篇能力证据丰富、训练细节有限的报告

返回目录 · 上一篇：LLaMA · 下一篇：Reflexion

论文：OpenAI，GPT-4 Technical Report，2023年首次公开。原始论文 · v6正文。本文采用2024年更新的v6。以下模型表现指报告中的历史快照。

先接住前作的问题

规模规律提供用小运行预测大训练的思路，HumanEval提供代码执行测量。本报告沿这些接口给出大模型证据，却未公开完整架构与配方；需要追问哪些预测目标和能力边界可以核查，而非猜测内部结构。

五个前置概念

五个前置概念：缩放律描述资源与表现的经验关系；不可约损失是拟合中的残余项；基础模型与后训练模型属于不同阶段；校准比较置信概率与正确频率；测试污染指评价内容进入训练数据而影响测量。

一、问题设定：训练细节未公开时，哪些能力与规模预测仍可审查

报告同时研究两件事：下一token预训练能支持哪些知识、推理和视觉输入任务，以及能否从便宜训练预测昂贵运行的部分结果。参数量、具体架构、总算力和数据配方未披露，因而正文只能展开公开的拟合与评价，不能补造训练实现。

报告公开的训练骨架是Transformer式下一token预训练，再使用RLHF。数据包含公开数据和第三方授权数据。它没有给出可核实的专家数、层数、隐藏宽度或多模态融合结构，所以这些项目应写“未披露”，不能用后来的模型或社区猜测填空。

输入可包含图片与文字，输出为文字。考试评价将模型当作答题系统，传统基准将它当作语言模型，两者并不总使用同一个训练阶段的快照：考试主要使用后训练模型，表2传统基准使用基础模型。这是解释结果前必须厘清的对象差别。

二、解析可预测损失及HumanEval的对数通过率

报告用小模型拟合带不可约项的损失关系：

$$L(C)=aC^b+c.$$

$C$ 为训练计算量，$a,b,c$ 为拟合参数，$c$ 表示在该拟合下的不可约损失项。横轴将GPT-4训练计算量归一化为1，所以图上的相对尺度不提供真实FLOPs，也不能反推出参数量。

研究者先用同类训练流程的小模型得到若干 $(C,L)$ 点，再预测大模型的最终损失，待训练完成后核对。图1所测是未进入训练集的内部代码数据损失，而不是全部领域的统一“智能分数”。

HumanEval预测采用问题上的平均对数通过率：

$$-\mathbb E_{P}[\log\mathrm{pass\_rate}(C)] =\alpha C^{-k}.$$

$P$ 是选取的问题子集，$\alpha,k$ 是正参数。采用对数可表示不同难度问题上的概率变化，但极低通过率难以估计，因此分析排除了小模型无法可靠估计的情形。报告没有证明这个拟合对全部问题、所有新能力都成立。

下面是依据公开描述整理的研究流程，不是GPT-4训练复现代码：

RLHF旨在调整回答行为，报告还使用依据人工规则评分的模型提供奖励信号。规则评分器接收提示、策略回答与评分规则，将回答分类，再参与训练。这属于模型辅助反馈，不意味着简单字符串规则就能完整评价回答。

报告没有给出足以重建全部后训练目标和权重的细节。可以说明其机制类别，却不应编造奖励系数、PPO批次或完整伪代码。更值得分析的是证据：后训练在某些行为上改善，却可能降低概率校准；平均考试能力接近也不意味着每项成绩不变。

平均log通过率为什么不是平均通过率

报告的HumanEval扩展预测使用某个子集上平均 $\log p_i$，p为每题采样通过概率；取指数得到几何平均 $\exp(\frac1n\sum_i\log p_i)$。其中 $n$ 为子集题目数，$p_i>0$ 为第 $i$ 题通过概率。它对低通过率题更敏感，且p接近零时难估计，故原文按较小模型的可测通过情况选择题目。准确预测这个受控子集，不等于已经预测完整考试分数或每题表现。

教学算例。 两题通过率0.9和0.1，算术平均0.5，几何平均0.3；另一个模型两题都是0.5，两种平均均0.5。相同平均成功率可以有完全不同的困难题尾部。若只报拟合图而不说明log、子集与采样预算，读者可能误判缩放预测覆盖了全部能力。

零次采样成功不能直接代入真实log概率

若某题有限采样全失败，经验通过频率为0，但这不证明真实通过概率严格为0；直接取log会得到负无穷。缩放图使用通过概率的对数时，必须同时交代概率如何估计、子集怎样选取和零计数怎样处理。仅凭最终图的平滑曲线无法补出这些评估细节。

三、把公开训练角色与不能重建的协议边界分开

输入：若干较小规模训练配置、固定留出评价集、目标计算规模
按一致训练方法运行小模型
记录最终留出损失，以及可可靠估计的代码题通过率
拟合损失与计算量关系，预先登记大模型预测
训练目标模型（内部具体配方未披露）
在相同评价集比较预测与实际结果
另按公开考试协议与基准协议评价能力
输出：预测偏差、分项能力结果、评价限制

这段流程强调预先预测的重要性。若看到大模型结果后才调整拟合形式，很容易得到漂亮曲线，却没有证明预测能力。报告称损失预测在训练早期完成，且没有使用部分训练结果；这是作者关于实验时序的陈述，外部读者无法从图形本身独立验证全部过程。

四、逐项核查考试、代码、污染与校准的分母

归一化算力图检验特定预测目标，考试与校准图检验不同能力；先辨基础与后训练版本，再比较均分和风险。

考试的“百分位”是根据分数分布换算，不是模型与每位考生在相同条件下实时竞赛。部分考试分档很粗，满分对应一个区间；代码竞赛还采用多次尝试和模拟评分。把所有百分位简单求平均，会混合不同人群、评分和任务。

视觉与非视觉比较也有限制：部分自由回答题的图片被转写成文字，某些没有图像输入的多选设置只得到占位标签。它们适合说明报告中的评测条件，不是纯粹移除视觉模块、其他信息保持完全等价的全套消融。

证据一：图1、图2，部分结果可预测。 内部代码损失拟合使用至多万分之一量级算力的小运行；HumanEval子集使用至多千分之一量级。支持特定指标的可预测性，不支持提前预测所有能力，更不能据相对横轴推算真实训练费用。 规模预测图把GPT-4训练计算归一化为1，拟合排除了GPT-4自身；校准图则比较概率分桶与真实准确率，二者检验的性质不同。

证据二：表2，广泛基准提升。 五样本MMLU为86.4%，GPT-3.5为70.0%；但DROP的80.9仍低于任务专用系统88.4。报告展示广泛提升，也保留了任务专用系统更强的情形。

证据三：表1，考试强弱不均。 模拟统一律师考试298/400，而Codeforces评级仍低于第五百分位；AP英语写作相关考试也不是高分。它们不能被一个“达到人类水平”的短语替代，更不等于获得真实职业资格或工作能力。

证据四：附录B表8与图8，后训练取舍。 考试平均基础模型73.7%、RLHF后74.0%，但个别考试涨跌不同；图8显示MMLU子集校准变差。平均知识能力接近与概率可靠性下降可以同时存在。

证据五：附录D表11与附录E，污染和任务训练。 HumanEval整体67.0%，未匹配污染子集65.58%；GSM8K训练样本部分进入预训练配方，因此92.0不能称为纯粹未知任务的少样本迁移。基准训练集曝光与测试集污染是两种不同问题。

另一个重要行为证据是§4的用户偏好：70.2%的提示更偏好GPT-4回答。这个比例来自筛选后的5214个提示和特定判分要求，表示偏好胜率，不能改写为70.2%的答案完全正确。

五、局部基准和可预测损失仍不证明通用可靠性

设一个模型在100道选择题中答对90道，却在十道开放任务中只完成三道。前者说明在有限候选和评分规则下有较强识别能力，不能保证开放任务中的规划、验证和持续执行。这个自构例子解释为什么考试与实际工作必须分别评价。

由于核心配方未公开，不能把它当作一个完整可复现的算法论文；也无法根据这些表格将提升精确归因于数据、架构、算力或后训练。

作者承认幻觉、推理错误、知识时效和置信度问题。多模态样例表明模型能处理某些图文输入，但精选样例不构成总体视觉成功率。内部事实性评测的提升，也不能替代公开领域分布中的独立测量。

我的分析是，污染检查结果应该被视为审计线索，而不是“没有任何记忆影响”的证明。子串匹配可能漏掉改写、翻译或近似重复；未匹配样本与匹配样本难度也可能不同。若去掉匹配样本分数没明显下降，只能减弱某种污染解释，不能排除所有污染机制。

阅读这类报告时，最有价值的习惯是为每项结论指定可验证对象：模型快照、提示、样本、评分器和数据范围。缺失配方不会让全部能力结果失去意义，但会限制因果解释和独立复现的强度。

六、把考试证据延伸到真实仓库任务的评价

考试和短程序成绩尚不代表持续工程任务。SWE-bench要求历史仓库补丁与回归保持；它改变了评价边界，不能将本报告的考试分数换算成仓库解决率。

自测：能够回答，才算理解

1. 为什么不能根据这篇报告写出GPT-4的完整训练伪代码？

答案：架构、规模、数据配方和大量训练设置未披露。只能写公开阶段和评价流程，不能用猜测填充实现。透明地说明缺项，是技术精读的一部分。

2. 小模型预测大模型损失成功，为什么不能推出所有新能力可预测？

答案：平滑聚合的损失与单个能力不同，HumanEval分析还限定了可估计的子集。特定任务可能出现非单调变化、阈值效应和测量噪声。预测结论必须限定到被拟合和验证的指标。

3. RLHF后考试均分几乎不变，能否说后训练没有任何代价？

答案：不能。平均分掩盖子任务涨跌，也没有测尽校准、拒答、风格和真实工作流。报告已经给出校准变化的例子，因此应把知识能力、行为偏好与置信可靠性分别比较。