038 · BigBird：用稀疏连接保留长序列的信息通路

返回目录 · 上一篇：GShard · 下一篇：MMLU

论文：Manzil Zaheer 等，Big Bird: Transformers for Longer Sequences，NeurIPS 2020。原始论文。

先接住前作的问题

Longformer用局部和全局边控制成本，仍留下远程路径与少数全局节点压缩的问题。本篇在平行稀疏图路线中研究随机连接和理论表达能力；具体ETC配置可能没有随机边，因此不能把三类边当作所有实验共同定义。

五个前置概念

五个前置概念是：稀疏图限制计算边，全局节点连接全序列，随机边缩短部分路径，通用逼近是存在性表达能力，块稀疏用规则小矩阵适配硬件。它们帮助区分“连接稀疏”与后篇Performer的“核近似”。

一、问题设定：局部稀疏的远距路径能否由随机和全局边补足

全注意力昂贵，纯局部窗口又让远端信息跨很多层传播。BigBird与Longformer共享稀疏图问题，进一步研究随机长程边和全局节点的组合；既要看连接数量，也要问存在一条路径、能表达函数与有限预算下学会函数有什么区别。

主要自然语言实验包括遮盖语言建模、带证据问答和文档分类。这里的Natural Questions配置提供长文档并预测答案区域，与DPR中的全百科开放域检索口径不同。任务同名不代表输入信息相同，跨论文引用分数尤其要检查这一点。

模型并不改变语言任务的奖励函数；它改变输入位置之间可以计算注意力的连接。下游仍优化MLM或监督任务损失。

二、从图消息传播区分表达存在性与有限深度

对普通位置 $i$，允许关注局部集合 $W_i$、随机集合 $R_i$和全局集合 $G$；全局位置可与全部位置相连。注意力写为：

$$S_i=W_i\cup R_i\cup G,\quad h_i'=\sum_{j\in S_i}\frac{\exp(q_i^\top k_j/\sqrt d)}{\sum_{u\in S_i}\exp(q_i^\top k_u/\sqrt d)}v_j.$$

对于全局位置，将 $S_i$替换为全部位置。$q,k,v$来自查询、键、值投影，$d$是每头维度。若每位置局部与随机连接数、全局数量固定，总边数随长度 $n$近似线性增长。但这是连接数量结论，不是任意实现的墙钟复杂度保证。

ITC把已有token指定为全局节点；ETC额外增加全局token，提供专门汇总空间。附录里的ETC还使用适合任务结构的全局位置，例如问题、段落和句子对应节点。它们来自输入结构，不能使用测试答案位置作为额外提示。

实现采用块状连接以适配硬件。逐元素随机边可能造成不规则访存，块稀疏使矩阵操作更有效，但也改变连接粒度。算法图中的“一条边”和实际块计算不能不加区分。

教学算例。 将16个位置排成环、每个位置仅连左右邻居，从位置1到9最少8跳；若补一条1到9的有效注意力连接，一层即可交换这对位置的信息。增加捷径改变的是最短路径，不保证9号表示含有任务需要的事实。公平消融应固定层宽、层数和预算，分别移除随机边与全局边。

自构长文中，开头给出某人物别名，末尾用别名描述事件。局部连接让相邻句形成表示，随机长程边可能缩短信号路径，全局节点则提供统一交流站。但全局节点数量有限，也可能成为信息压缩瓶颈。

§3定理1在相应函数空间和距离下，说明包含星形连接图的稀疏Transformer可以逼近紧致域上的连续序列函数。直觉是全局节点提供交换信息的通路，再通过足够多层组合计算。它是“存在某个网络”的表达能力论证，而不是训练算法能够找到该网络的保证。

附录还讨论图灵完备性，需要沿用理想化计算模型的假设。有限精度、固定上下文和有限层数的实际模型不能由此获得无限计算能力。

论文命题1进一步在正交向量猜想相关条件下构造问题：一层全注意力可完成的计算，稀疏图可能需要很多层。这恰好说明表达能力相同不等于计算效率相同，不能只摘录通用逼近结论而省略限制。

把注意力层看成一次图消息传递

每层只在允许边上读值，L层能沿最多L条边传信息。局部边保留近邻结构，随机边提供跨区捷径，全局节点连接远区；三者是对信息传播图的不同约束。即使稀疏图满足表达能力定理，也不代表任意训练后的权重都利用这些路径，更不代表有限宽度一次前向就精确等价全注意力。理论条件与可训练性应分开。

用路径长度解释随机边的作用范围

局部边只连接邻近位置时，远端消息要多层传递；加入一条远距离随机边可以缩短某些路径，却不会让所有任意两点在一层直接相连。检查稀疏图时应分别统计边数、可达性和最短路径，并用不同随机种子重复，不能把一个连通图当成密集注意力的数值等价图。

教法联系：Lilian Weng的The Transformer Family。算例为本文自构。

三、按具体ITC/ETC连接和块稀疏协议执行

输入：序列、局部窗口、随机块数、全局节点方案
构建ITC或ETC的允许连接图
每个Transformer层：
    计算Q、K、V投影
    仅为局部块、随机块和全局连接计算分数
    在允许邻域归一化并聚合
    执行残差与前馈网络
按任务输出头计算MLM、问答或分类损失
训练和评估使用明确的长度、连接与全局节点配置
输出：序列表示和任务预测

四、同时保留长文收益、构件损失与规模反例

构件消融、长文主表和large反例共同规定经验结论，存在性定理不能覆盖它们的差异。

对于超过4096的Natural Questions文档，附录采用步长2048的滑动窗口。因此结果不表示一次前向计算处理任意长全文。large与base的窗口和批量也不同，不能仅以参数数量解释分数差别。

可以设计未执行实验：固定token数、总连接预算和模型深度，分别使用局部、局部加随机、局部加全局、三者组合；逐步增加跨段依赖距离与干扰实体。测准确率、显存和速度，同时重复随机图采样。如果不同随机种子差异很大，应报告分布；不能只挑一张连通性好的图。

证据一：表1，只有局部与随机边够不够。 长度512的构件比较中，BERT-base的SQuAD为88.5，随机连接83.0、局部窗口76.4、随机加窗口85.1。它支持简单稀疏构件有性能损失，也为加入全局连接提供动机。它没有隔离所有块大小、训练及连接数的组合。

证据二：表2，长文档问答收益。 base开发集HotpotQA联合F1，Longformer64.4，BigBird-ITC67.7、ETC67.8；WikiHop准确率75.0与两种BigBird的75.9。结果说明相关配置有效，但ETC增加的结构性全局节点和连接方案也是系统差异，不能把收益全部归因于随机边。

证据三：表10与§3，质量与理论边界并存。 base MLM BPC中ETC1.611、ITC1.678、Longformer1.705；large时ITC1.456却差于Longformer1.358。这说明配置和规模交互明显。理论逼近能力没有承诺每个规模的有限训练结果占优，实际反例必须保留。

表3测试排行榜还显示部分任务不是最强，例如HotpotQA存在更高的联合F1系统。带证据问答分数不能与前篇FiD开放域问答EM直接相减：评价条件、指标和材料来源都不同。

五、理论可表达不保证训练成功或同等深度

另一个有用对照是固定全局节点数与随段落数增长两种方案。后者可能更好保留信息，但改变复杂度常数乃至渐近关系。质量收益应和新增连接成本一起报告，才能判断是否真的更有效。

限制包括有限预算下理论不保证训练成功，结构节点可能依赖任务设计，块稀疏需要专门实现，以及部分场景相对全注意力要用更多层。

六、区分删边、随机核近似与精确执行优化

图结构保证要与模型是否真正使用远端信息分开。并读Performer的核近似，再用Lost in the Middle的内容位置对照检验读者，分别考察计算近似与行为能力。

自测与参考答案

1. BigBird是否每个实验都同时使用三种连接？

不是。框架讨论三种构件，但附录表8的ETC配置随机数为零。必须核对具体实验参数，不能把总架构图当作所有模型的逐项说明。

2. 通用逼近定理意味着训练后的BigBird一定不输全注意力吗？

不意味着。定理讨论存在足够合适的网络，未保证固定深度、有限精度和训练过程的结果；论文还给出稀疏连接可能需要更多层的限制。

3. 为什么不能直接比较这里Natural Questions与DPR的分数？

这里使用给定长文档并预测长短答案，DPR先从全库检索再回答；指标也可能是F1与EM。输入信息和评价不同，直接相减没有明确含义。