031 · ELECTRA：让每个位置都成为预训练信号

返回目录 · 上一篇：REALM · 下一篇：DPR

论文：Kevin Clark、Minh-Thang Luong、Quoc V. Le、Christopher D. Manning，ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators，ICLR 2020。原始论文。

先接住前作的问题

BERT计算整段表示，却主要在少量选中位置直接预测词。本篇直接重设编码器的监督接口：让合理替换产生逐位置判别任务。与负采样的联系是判别学习的教学对照，不能把token一致性检测等同于词对噪声目标。

五个前置概念

五个前置概念是：MLM恢复缺词，二元交叉熵训练真假标签，负采样构造对比对象，FLOPs衡量理论运算量，迁移学习检验预训练表示是否可复用。将 ELECTRA 与 GPT-3 对照时，应比较它们服务的任务接口，而不是把理解榜单与生成能力混成单一排名。

一、问题设定：整段编码的计算能否换来更多位置的有效监督

无标签文本已经给出原序列，可以自行生成扰动并标记哪些位置仍与原文一致。问题是能否让整段编码成本对应更密集的有效监督，而不只在少数位置恢复词；预训练后仍以标签微调分类或抽取，不涉及环境奖励或策略优化。

MLM 的稀疏监督不等于其他位置完全没有梯度：未遮盖词仍通过注意力影响目标位置。ELECTRA 改变的是损失直接覆盖的位置数量。若误以为 BERT 只有15%的网络参与计算，就会错误理解它的效率来源。

另一个缺口是预训练中的特殊遮盖符号与下游自然文本之间存在差异。不过论文专门消融，表明消除这一差异只能解释一部分收益；不能把整个方法缩成“不使用 MASK”。

二、从原词一致性定义标签并推导判别梯度

设原序列为 $x=(x_1,\ldots,x_n)$，随机选取位置集合 $M$，得到遮盖输入 $x^{mask}$。生成器 $G$ 在这些位置预测原词，并采样候选替换，形成 $\tilde x$。判别器 $D(\tilde x,t)$ 输出第 $t$ 个词仍与原词一致的概率。

$$L_G=-\sum_{i\in M}\log p_G(x_i\mid x^{mask}),\qquad y_t=\mathbf1[\tilde x_t=x_t].$$

$$L_D=-\sum_{t=1}^{n}\{y_t\log D(\tilde x,t)+(1-y_t)\log[1-D(\tilde x,t)]\},\qquad L=L_G+\lambda L_D.$$

$\lambda$ 调节两个目标的权重。这里的标签依据词是否真的改变，而不是位置是否被选中：若生成器恰好采样回原词，该位置的标签仍为真。这一细节直接决定训练数据是否自相矛盾。

生成器由最大似然训练，不以欺骗判别器作为对抗目标。采样词是离散变量，判别器损失不会通过这个采样操作反传成生成器的对抗更新。某些参数可以共享，但这不改变两个任务的定义。论文名字里的判别器容易让人联想到 GAN，两者的训练机制必须分开。

判别标签取决于内容相同，而非采样来源

令原token为 $x_t$，生成器采样后为 $\tilde x_t$，判别真值是 $y_t=\mathbf1[\tilde x_t=x_t]$。即使某位置被选中过，采样恰好恢复原词也应标真。判别器logit为 $a_t$ 时，二分类交叉熵梯度为 $\sigma(a_t)-y_t$，其中 $\sigma$ 为 sigmoid，$\mathbf1$ 为条件成立时取 1 的指示函数。全部位置都可贡献信号；生成器仍用MLM最大似然训练，离散采样处不把判别损失直接反传成GAN式对抗更新。

教学算例。 原文“猫坐在垫子上”，选择“猫”作候选替换：生成器采样“猫”时标签是真，采样“狗”时是假，即使后者语法同样自然。若判别器预测为0.7真概率，两个梯度分别为−0.3与+0.7。模型学习的是与原序列一致性，不是对世间事实真假的通用审判。

自构例子：“厨师切开苹果”。生成器把“厨师”换为“医生”，判别器需要利用语境判断；换成乱码则太简单。若把“苹果”替换为“梨”，句子仍自然，但与原句不同，标签依然是假。由此可以看出判别器学的是来源辨别，不是普遍事实真假检测器。

把替换来源与真假标签列成两行

某个被选位置原词为“蓝”，生成器恰好也采到“蓝”，判别标签仍应是真；未被选位置也为真。只有采样结果与原词不同才是假。若按“是否来自生成器”打标签，就会让完全相同的输入token因不可见来源而对应不同目标，额外引入无法从当前文本消除的标签冲突。

三、分开训练生成器与判别器，再保留理解骨干

输入：无标签文本、生成器 G、判别器 D、权重 lambda
重复直到预算耗尽：
    取一批原始分词序列 x
    随机选择遮盖位置 M，构造 x_mask
    计算 G 在 M 上的 MLM 损失
    从 G 的分布采样替换词，构造 x_corrupt
    对全部位置设置 label[t] = (x_corrupt[t] == x[t])
    用 D 预测每个位置的 label，计算二分类损失
    按各自可微计算图更新 G 和 D
丢弃生成器，在下游任务上微调 D 和任务预测头
输出：任务模型，而非由 D 直接定义的自回归语言模型

生成器太弱，负例可能靠词法异常就能识别；太强则增加成本，并可能让替换过于接近真实数据。§3.2讨论生成器大小、参数共享与训练方式，提醒读者“更强的辅助模型”不必然是最优投入。目标函数改善的是预训练辨别能力，最终指标则是 GLUE、SQuAD 等任务表现，两者之间需要实验连接。

四、按总FLOPs检验密集监督与替换难度

效率比较需计入辅助生成器，监督覆盖消融再回答收益是否只来自看更多位置。

步数不是合适的唯一预算：一次 ELECTRA 更新含生成器，因此每步 FLOPs 更高。比较“更少更新步数达到同分”只能说明优化轨迹，比较同 FLOPs 才更接近计算效率。墙钟时间仍取决于硬件、实现和通信，不可由 FLOPs 比例直接推定。

一个未执行的教学实验是固定判别器和总 FLOPs，分别采用随机替换、小生成器和大生成器，同时报告负例比例、判别准确率、GLUE迁移与训练时长。若随机替换的判别准确率最高却下游最差，说明辅助任务过易；若大生成器下游略好但耗时大幅增加，则要按预算重新比较，而非只选最高分。

证据一：图1与表2，同预算表现。 表2中作者 BERT 基线与 ELECTRA-400K 都为 $7.1\times10^{20}$ 预训练 FLOPs、335M参数，GLUE开发集平均分分别87.2和89.0，即绝对增加1.8分。这支持该配置下任务设计的有效性；它不是跨所有任务、语言和模型架构的保证。与其他团队模型相比，数据及调参差异仍然存在。 图1左侧是右侧虚线框的放大图，并非另一批独立实验；比较横向相同计算预算的位置，才对应效率结论。

证据二：表5，收益来自哪一部分。 ELECTRA 为85.0，限制到15%位置的 ELECTRA 为82.4，BERT为82.2；All-Tokens MLM为84.3。结果支持监督覆盖是重要因素，也显示把每个位置纳入生成目标可以缩小差距。不能据此宣称二分类天然优于任何生成式学习，因为目标难度、输出层成本与训练条件同时影响结果。

证据三：图4与表3，边界与比较条件。 图4显示小模型在训练收敛后仍保留优势，作者据此讨论参数效率，而非仅仅更快到达同一个终点。表3则包含用于提高测试分数的附加技巧，平均分还涉及排除 QNLI 的口径。因此开发集公平对照比排行榜单值更适合判断机制；排行榜更适合描述最终系统水平。

这里“判别任务省去了完整词分布建模，所以参数更高效”是论文提出的解释方向，仍需进一步分析，并不是由二分类公式直接推出的定理。阅读时应保留这个证据层级。

五、原文一致性不能替代事实真假判断

后一个例子揭示局限：自然语言允许许多合理改写。训练标签不声称替换句不合语法，只提供可学习的统计信号。因此不能把预训练判别概率用于直接判定新闻真假，更不能把低概率当作事实错误的充分证据。

代价包括辅助生成器、替换分布选择及训练复杂度；下游依然依赖任务标签，也没有解决检索知识更新和长文本成本。

六、沿编码器监督密度继续比较

更密集判别信号不直接提供逐token生成接口。并读BERT和T5，分别检查表示任务与文本生成任务需要什么输出头和微调条件，不能只按预训练样本效率决定部署方案。

自测与参考答案

1. 为什么 ELECTRA 不是文本 GAN？

生成器最大化原词似然，不根据判别器反馈学习欺骗它；离散替换采样也不承担对抗梯度通路。两者外形相似，但优化目标与更新关系不同。

2. 被遮盖的位置采样回原词，应该标假吗？

不应该。标签比较扰动后词与原词是否相同；否则相同可见文本会因为不可见的采样过程得到矛盾标签，偏离论文定义。

3. 同步数下 ELECTRA 更好，能否证明计算更省？

不能。必须计入生成器运算，并尽量匹配数据、模型容量和微调预算。表2的同 FLOPs 基线提供了更直接证据，而实际训练时长仍要另外测量。