021｜GPT-2：网页里的自然任务示例，能否转化为零样本能力

目录 · 上一篇 · 下一篇

论文：Alec Radford 等，Language Models are Unsupervised Multitask Learners，2019。官方原文。本篇讨论 WebText 语言建模与不更新参数的任务迁移；不把后续指令微调和 RLHF 写进 GPT-2 的训练过程。

先接住前作的问题

GPT证明生成式预训练可帮助监督微调，但每个任务仍需标签更新。本篇直接承接这条路线，追问文本里已有的问答、翻译等格式能否使模型在冻结参数时执行任务。这个变化发生在训练规模与任务调用方式，不是已经加入了显式指令训练。

五个前置概念

五个前置概念是条件续写、零样本、隐式监督、数据污染和解码协议。区分这些，才能同时理解为何自然文本训练有迁移价值，以及为什么零样本分数仍需要严格实验条件。

一、问题设定：不更新任务参数，续写能否直接完成任务

网页可能直接写出翻译配对、问题和答案、摘要与说明。预测后半段本身就含类似任务监督，因而“没有逐任务标注流程”不等于数据中没有答案示范。本篇扩大模型与网页语料，检验只改变前缀、不开启任务微调时能得到什么。

任务可以表示为 $P(output\mid input,task)$，而任务条件也能写成文本。模型仍只训练下一 token，却可能利用文本格式判断接下来应该是什么。这种潜力不保证模型总能识别任务，也不保证长提示中的要求得到遵循。

WebText 使用带有人类平台筛选信号的网页来源和启发式清洗。语料不是从互联网完全均匀抽样，质量、体裁与社会偏差都进入训练分布。因此“自然文本”也有明确采集策略，应计入方法而非当作无限免费资源。

二、把任务答案放回完整下一token目标

基本训练目标依旧是：

$$L=-\sum_t\log P_\theta(x_t\mid x_{<t}).$$

模型采用因果 Transformer，并在归一化位置、初始化等方面调整。原文还使用 byte-level BPE，以有限基础字节集合支持更广字符串覆盖。它与早期字符级 BPE 不是完全相同接口，预处理规则决定序列长度和可比较概率。

任务执行主要通过前缀格式、候选评分或生成完成。例如给定文档和问题，模型继续生成答案；某些任务可以比较多个候选续写的概率。没有参数更新不表示没有提示设计、答案截取和评价规则。

大型号的参数和数据利用率是论文比较的重要变量。规模增长同时增加训练与推理成本，不能只把任务分数变化解释为“涌现”而不报告预算。若小模型还未充分拟合语料，曲线也可能反映优化与容量共同变化。

续写目标如何包含任务目标

把一条自然文本写成“任务描述、输入x、答案y”。完整语言模型损失既包括前缀词，也包括 $-\log p_\theta(y\mid x,\text{任务描述})$。后者恰好像有监督任务损失，但没有保证有限模型会优先学它：答案占比、格式一致性和梯度竞争都影响学习。原文 §2 的理想化论证强调任务可包含于预测，而不等于已经证明真实网页中的每项任务都能学好。

教学算例。 一份数据的每条文本含990个背景token与10个答案token。若各token等权，任务答案只贡献约1%的损失项。即使文本形式里“有监督”，优化也可能优先改善背景续写。把答案权重提高会改变训练任务；只在测试时加入提示，则仅改变条件分布，不改变参数。

用分隔符定位续写实际条件

自构提示“原文：…\n摘要：”中，“摘要：”只是前缀的一部分，不会切换到另一套摘要权重。模型对后续文字的分布受训练中类似格式影响。将标签改成“评论：”可能改变输出，但只有按摘要事实、覆盖和长度评价，才能判断它完成了任务；格式可控制不等于任务已经被显式训练过。

教法联系：Lilian Weng的Prompt Engineering。算例为本文自构。

三、固定提示、候选评分和字节级分词接口

训练：
    收集并清洗WebText，按固定byte-level BPE编码
    对连续片段进行因果下一token预测
    训练多个规模的同类模型
零样本任务：
    将任务输入写成约定文本格式
    不更新参数，生成续写或给候选答案打分
    按任务规则提取答案并计算指标
    检查训练与评价内容重叠
输出：不同规模下的任务表现及语言建模结果

构造前缀“问题：水在标准气压下多少度沸腾？答案：”。模型可能继续一个常见答案，因为训练中见过类似文本规律。若改成“以下是错误答案示例”，相同问题可能诱导不同续写，说明行为依赖整个文本条件，而非有一个稳定任务执行开关。

四、逐任务读规模曲线，并单列重叠与提示搜索

零样本指未用该任务训练集更新参数，不自动表示模型从未在网页中见过相似任务或内容。

不同任务有不同纵轴与调用方式；按面板比较，才能避免把一条规模趋势外推成全面能力。

证据一，表1 与第 2.1 节。网页中的自然翻译示例和语料采集说明，为隐式任务学习提供合理来源。示例证明数据可能包含任务结构，不量化模型到底依赖了多少此类内容。

证据二，图1 与第 3 节各任务结果。不同任务随规模变化，CoQA 约 55 F1 是一个代表结果。任务表现差异很大，不能把最强任务的水平扩展到摘要或翻译全部场景。

读图1。 四幅横轴都是语言模型参数量，纵轴依次为阅读理解F1、翻译BLEU、摘要ROUGE均值和问答准确率。灰虚线是各任务自己的参照系统，刻度和基准都不同；只能在同一面板中看规模趋势与差距。摘要曲线在最大模型处并未继续明显上升，图本身就不支持“规模增加让每项任务同幅提升”。

证据三，数据重叠分析与语言建模比较。跨数据集测试检验分布迁移，同时检查内容重复。零样本与去污染是不同维度：没有微调仍可能包含训练文本重叠。

如果一个任务采用候选答案似然而另一个采用自由生成，两者难度和错误来源也不同。候选列表已经提供答案空间，不能把候选评分成功直接称为开放问答生成成功。

应固定提示开发过程，区分使用开发集调格式与完全预先设定；记录生成长度、温度和答案提取；对污染样本与未污染样本分组。若尝试许多提示后只展示最好者，提示搜索成本也参与了系统能力。

模型规模曲线还应匹配训练充分程度和数据量。如果某一模型训练更久或使用不同过滤数据，不能只用参数数解释差异。论文展示了一条有潜力的扩展路线，而严格的资源规律还需要后续 scaling-law 工作。

五、隐式监督不会自动带来稳定指令遵循

这既展示了文本接口的灵活性，也解释提示敏感性。模型可能续写评论、模仿错误示例或产生看似合理但不真实内容。下一词概率高与满足用户目标不是同一个优化对象，这正是后续指令训练和偏好对齐需要解决的问题。

再构造一个从未存在过的虚构实体问题。语言模型可能生成符合常见格式的答案，却没有事实来源。更大的模型可以改善知识覆盖，但不会因规模自动获得可验证引用或拒答机制。

GPT-2 推动从“预训练后每任务微调”向“文本条件直接调用”的认识转变。局限是任务不均、提示与解码敏感、事实错误、数据不可完全复原以及执行成本增长。它不是今天经过多阶段对齐的对话模型。

一个值得单独控制的因素是答案概率的长度归一化。比较候选时，直接相加对数概率通常偏向较短字符串；按token平均则又改变目标。两种规则都需要预先声明，否则同一个模型可以因为评分规则变化而得到不同所谓零样本能力。

六、把本篇机制再推进一步

七、从自然任务格式走向上下文示例与指令训练

任务格式可以触发续写，但示例数量与指令遵循仍未解决。GPT-3继续研究上下文示范，FLAN把指令写入监督训练；一个改变测试前缀，一个改变模型参数。

自测与参考答案

1. 无监督多任务是否意味着训练文本没有问答或翻译答案？

不是。自然网页可包含这些结构，只是没有为每项任务单独组织监督流程。任务知识可能通过普通下一词预测进入参数。

2. 不更新权重，为什么仍可能过度适配评价集？

可以通过反复选择提示、解码和答案提取规则来适配评价结果。参数冻结只排除一种适配方式，不排除系统层面的调优或数据重叠。

3. 为什么 GPT-2 的文本续写不等于可靠指令遵循？

它训练的是文本概率，可能模仿格式、语气或错误示例，而非稳定完成用户意图。指令数据与偏好优化提供不同监督，不能由因果架构名称自动推出。