Home / 大语言模型 / Day 0 · 入门导读

Day 0｜大语言模型阅读入门：从文字、参数到一次回答

建议用时：15–20 分钟，包含文末自测。 本系列会遇到表示学习、Transformer、预训练、检索、对齐和推理加速。先把这些词放进一个完整过程，读论文时就能问清楚：作者改的是输入表示、模型结构、参数学习，还是回答问题时的运行方式？

本篇先用常见的自回归语言模型建立直觉。系列后面还会讨论编码器、状态空间模型和扩散语言模型，它们并不全部遵循相同的生成机制。

一、从一个有资料可查的问题开始

设想一个虚构的办公室助手。用户问：“海棠会议室能坐几人？”一份可靠的会议室手册写着“海棠会议室：容量 12 人”。我们希望助手回答“12 人”，并指出依据。

这看起来只是输出两个字和一个数字，实际至少有四件事：

把问题和可用资料转换成模型可处理的输入。
用已学参数计算下一个输出片段的分布。
通过解码过程，逐步形成回答。
判断回答是否被资料支持，而不只是语句是否流畅。

先记住这张文字概念图：文本经分词变为 token，token 经嵌入变为向量，模型层产生依赖上下文的表示，输出层给出候选 token 的分数，解码规则选择下一项。 检索负责把资料放到输入里；训练负责改变参数；评测负责检查结果。这几个环节可以组合，但承担不同职责。

二、token 和 embedding 怎样把文字变成计算

Token 是处理单位，不固定等于一个字或一个词

词元（token）是分词器（tokenizer）定义的离散单位。它可以对应一个词、一段子词、一个汉字、字节片段或特殊标记，具体取决于分词规则和词表。相同句子交给不同分词器，token 数可能不同。Token 速查

对“海棠会议室”，我们可以想象它被拆成若干片段，但未经实际分词器检验，不能把某一种拆分当成标准答案。每个 token 对应一个整数 ID；ID 只是索引，数字大小通常没有语义上的远近关系。上下文长度按 token 计算时，也不能直接换算成固定数量的汉字。

分词决定模型怎样表达低频词、拼写和多种语言。它不会自己理解“海棠”是花名还是会议室名。BPE解释一种重要的子词构建方式；此前的 NNLM和 word2vec则帮助理解离散符号怎样获得连续表示。

Embedding 提供向量表示，上下文层再改变它

嵌入（embedding）把 token ID 映射为向量，可以想成一张可学习的向量表。相同 token 的初始嵌入通常相同；经过模型层之后，它在不同句子中的隐藏表示（hidden representation）会随上下文变化。Embedding 速查

在“海棠开花了”和“海棠会议室已预订”中，同一个片段的上下文角色不同。模型需要结合周围信息形成合适表示。向量也不是每一维都能命名为“地点”“人数”或“时间”；它们通常是分布式表示。

检索系统也会用“embedding”这个词，例如把整段手册编码成向量，用来寻找与问题相近的段落。它与语言模型内部的 token embedding 相关，但不一定是同一个模型、同一种向量或同一个训练目标。向量相似也不自动证明事实相同。

三、attention 负责怎样交换上下文信息

注意力（attention）让某个位置根据当前需要，从一组位置中汇总信息。标准点积注意力用三类向量：查询（query）Q描述要找什么，键（key）K用于匹配，值（value）V提供被汇总的内容。Attention 速查

用办公室例子理解：生成容量答案时，有用的信息可能在“海棠”与“12 人”所在的上下文附近。但这些向量是模型学出来的数值投影，不是我们手工写好的数据库字段。“查找资料”的比喻有助于理解运算，不应被当作对某个注意力头真实功能的证明。

标准缩放点积形式为：

$\operatorname{Attention}(Q,K,V) =\operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}+M\right)V.$

$QK^\top$ 产生匹配分数；softmax 把每行分数变成归一化权重；权重对 V 做加权汇总。 $d_k$ 是键的维度， $M$ 是掩码。先理解这三个步骤，再用尺寸检查自己有没有把“匹配”和“汇总”混在一起。

用两条资料走完一次注意力

设当前只有一个查询和两条候选资料，取 $Q\in\mathbb R^{1\times d_k}$ 、 $K\in\mathbb R^{2\times d_k}$ 、 $V\in\mathbb R^{2\times d_v}$ ，其中 $d_v$ 是值向量维度。则 $QK^\top$ 有两个分数，softmax 后的 $1\times2$ 权重乘以 $V$ ，输出仍是一个 $d_v$ 维向量。

为便于手算，假设已经缩放过的分数为 $(\log3,0)$ ，无屏蔽位置；归一化权重就是 $(3/4,1/4)$ 。再取示意性的值向量为 $v_1=(1,0)$ 、 $v_2=(0,1)$ ，输出为 $(0.75,0.25)$ 。这里值向量只标记两个信息来源，绝不是说模型把两个会议室的人数按权重求平均作为最终答案。后续层与输出层还需把混合表示变成条件 token 分布。

这个例子也是一张排错清单：把被遮挡位置的分数设成 0，softmax 仍给它正权重；要完全屏蔽，应在加性掩码中使用负无穷的数学极限或实现中合适的极小值。全部位置都被屏蔽则需要专门处理，不能指望普通归一化自然给出合法分布。第 15 篇会把这种局部计算扩展到多头和多层。

自注意力（self-attention）的查询、键和值来自同一序列的表示；交叉注意力（cross-attention）让一组表示读取另一组表示。因果掩码（causal mask）限制位置只能利用允许的前缀，避免训练时偷看将要预测的答案。自注意力

Transformer把注意力、逐位置前馈网络、残差连接、归一化和位置信息组织起来。注意力权重大并不等于“这个词是答案的唯一原因”，因为其他头、值向量和后续层也参与计算。原始 Transformer 是编码器—解码器结构，后来的 GPT、BERT 又采用不同结构与训练目标。读 Transformer · 读 BERT

四、训练与推理是两种不同的工作

训练改变参数

训练（training）用数据和损失函数调整参数。对基础自回归语言建模，一个常见目标是提高真实下一个 token 在已有前缀条件下的概率：

$\mathcal{L}(\theta) =-\sum_{t=1}^{T}\log p_\theta(x_t\mid x_{<t}).$

$x_t$ 是当前位置的真实 token， $x_{<t}$ 是此前 token， $\theta$ 表示可训练参数。这里省略批次平均、特殊位置掩码等实现细节；不同论文也可能使用被遮盖词预测、偏好目标等其他损失。

训练时，真实序列已经在数据里，所以在正确掩码下，可以并行计算多个位置的预测损失。梯度更新的是参数；输入的一段会议室手册不会仅仅因为被读取一次，就自动永久写进模型权重。

一次预测错误怎样变成梯度

仍用教学简化：假设词表只含“12”“8”“未知”三个 token，模型概率为 $(0.6,0.3,0.1)$ ，标签是“12”。该位置损失是 $-\log0.6\approx0.511$ ，自然对数下单位为 nat。若三个输出分数记为 $z_j$ 、标签指示量记为 $y_j$ ，softmax 交叉熵给出

$\frac{\partial\mathcal L}{\partial z_j}=p_j-y_j.$

所以三个分数的梯度为 $(-0.4,0.3,0.1)$ 。梯度下降倾向于提升正确标签的分数、降低其他分数；实际参数更新还要通过输出层和所有共享层的链式法则。模型并不是逐条改写“会议室容量”数据库字段，同一次更新也可能影响其他问题。

这使两条后来路线的差异更清楚：LoRA限制梯度能修改哪些参数方向，DPO改变从回答比较构造损失的方式。它们修改的是不同环节，可以一起使用。这里三个候选被特意假设为单 token；真实人数或完整回答可能需要多个 token，不能直接照搬这个三分类账本。

推理使用参数产生结果

推理（inference）通常是在参数固定时处理新输入。这里指运行模型的阶段；数学解题等语境中的“推理能力”通常对应 reasoning，范围并不相同。标准自回归生成先处理已有上下文，再逐 token 解码；后一步条件依赖前面已经生成的内容。GPT和 GPT-2帮助建立这一条路线。

输出层产生的是未归一化分数，称为 logits。softmax 可以把分数转换成概率。选最高概率 token 是一种解码方式，按分布采样是另一种。温度（temperature）调节分布的尖锐程度，影响多样性；降低温度并不是事实核验，也不会补上缺失的手册。

生成更长的回答、多采几个候选再筛选、调用检索工具，都可能增加推理阶段的计算。它们不必改变模型权重。KV cache 保存历史位置的键和值，以减少重复计算；它是运行时缓存，不等于训练集，也不是通用的永久记忆。

因此，论文声称“训练更快”“首个 token 更快”“每秒输出更多 token”“同预算答对更多题”时，说的是不同指标。读 FlashAttention、GQA和 vLLM，要先认清各自优化的资源与阶段。

五、预训练、微调、ICL 与检索放在哪里

预训练建立可复用能力

预训练（pretraining）通常在较广泛的数据上学习可迁移的表示和预测能力。数据可直接提供监督目标，例如从文本构造下一个 token，因此常称为自监督学习（self-supervised learning）。预训练速查

在办公室例子里，预训练可能让模型学会汉语、问答形式和“容量”的含义。它是否知道某间虚构会议室的正确容量，则取决于可用信息；通用语言能力不能替代这份具体手册。

微调用新的训练信号继续更新参数

微调（fine-tuning）在已有模型基础上继续训练。监督微调（supervised fine-tuning，SFT）可以使用问题与期望回答示例，帮助模型遵循指令或适应领域。微调不一定更新全部参数；LoRA研究参数高效适配的一种方式。微调速查

让助手习惯“先给人数，再写来源”的回答格式，可以准备这样的训练样本。它学会格式，并不保证每次人数都正确。偏好训练和强化学习又引入了不同反馈；偏好高、奖励高、事实正确，需要分别检验。InstructGPT与 DPO进入这部分问题。

上下文学习在输入中提供任务线索

上下文学习（in-context learning，ICL）通过提示中的说明或示例影响本次输出，通常不在这次使用中做参数梯度更新。比如先给“松树厅 → 8 人；银杏厅 → 6 人”的格式示例，再问海棠会议室。示例能说明输出形式，却不能凭空补齐海棠的容量。ICL 速查

GPT-3 原论文明确研究了不做任务微调、用文本提供少量示例的设置。这解释了“few-shot learning”为什么不总是意味着“拿几个样本再训练一次”。在本系列读 GPT-3时，先看作者究竟让哪些参数变化。

检索把外部资料加入可用上下文

检索（retrieval）根据问题寻找相关内容。检索增强生成（retrieval-augmented generation，RAG）把检索与生成连接起来，让回答利用外部资料。RAG 速查

在例子里，系统先找到会议室手册的正确段落，再将它连同问题交给模型。更新手册索引可以改变可检索资料，无须每次都重新训练语言模型。但检索器可能找错段落，模型也可能忽略或误读资料；检索结果中的文字仍需判断来源、日期和适用范围。

RAG 不是“绝不训练”的代名词。RAG 原论文本身包含检索与生成组件的微调方案。使用阶段检索资料与训练阶段优化组件可以同时存在。读 DPR · 读 RAG

回到完整地图：预训练和微调主要回答参数怎样得到；ICL 回答本次提示怎样提供任务线索；检索回答本次依据从哪里来。 一个系统完全可以同时使用四者。

六、先学会读结论的边界

语言模型给出的高概率表示“在这个模型与上下文下，这段输出更可能”，不等于“现实中这件事更可能为真”。手册没有提供容量时，生成一个看似合理的人数仍可能获得流畅的文字。

同样，损失（loss）是训练优化量，基准得分（benchmark score）是某套评测协议下的表现，用户真正关心的可能是有来源的正确答案、延迟和成本。它们有联系，但不能互相代替。

读一张结果表时，先确认测试数据是否可能进入训练数据，提示和解码设置是否一致，是否允许调用工具，是否用了更多候选与筛选预算。较长推理链也不能自动当成忠实的内部过程记录；要看答案和过程如何分别验证。TruthfulQA与 HELM提供不同评测视角。

七、符号只在局部有确定含义

符号	本篇约定	跨论文提醒
$x_t,x_{<t},T$	第 $t$ 个 token、前缀、序列长度	$T$ 也常被用于温度，需看定义
$\theta,\mathcal{L}$	模型参数、训练损失	推理通常固定 $\theta$ ，却仍可改变提示与缓存
$p_\theta(x_t\mid x_{<t})$	条件 token 概率	不是事实为真的校准概率
$Q,K,V$	注意力查询、键、值矩阵	RL 中的 Q、V 是价值函数，含义完全不同
$d_k,M$	键维度、注意力掩码	$M$ 在其他文章可能表示模型或矩阵
$h_t$	某层的上下文隐藏表示	下标也可能是层号，先看维度说明

遇到公式，依次问输入是什么、输出是什么、哪些量固定、哪些量学习。只要这四点清楚，暂时跳过完整推导仍然可以理解论文的位置。需要再查时，打开共享概念与符号速查。

八、从哪里开始读

先读发展时间线，再沿这条主线建立结构：

NNLM → word2vec → Attention：理解表示与信息选择。
Transformer → GPT和 BERT：比较结构、掩码与训练目标。
GPT-3 → RAG → InstructGPT：区分上下文、外部知识和行为训练。这是按问题组织的阅读顺序，不要求与年份完全一致。

之后按兴趣选择效率、对齐或推理分支。每篇只要先找出“输入、学习信号、改动位置、评测预算”，就已经有了一条稳定的阅读路径。

带着同一个失败往下读

如果助手答错人数，先定位失败发生在哪里，再选择论文，而不是立即增加模型规模：

没找到手册：读 DPR，追问训练中的正负段落怎样定义。
找到了却忽略中部证据：读 Lost in the Middle，固定题目和资料，只移动证据位置。
多次生成中有正确答案却没选中：读 GSM8K 验证器与 Self-Consistency，区分候选覆盖和选择能力。
答对但无法在延迟预算内服务：读 GQA 与 vLLM，分别检查状态大小和缓存分配，不把吞吐直接当作单请求延迟。

这是诊断次序，不是保证每种方法都适合办公室任务的推荐配方。

九、三分钟自测

1. 把新会议室手册放进提示后，模型回答变了。这是否证明完成了微调？

没有。上下文变化即可改变输出；要称为微调，需要说明使用了训练信号并更新了哪些参数。

2. 某个注意力头对“12”权重很高，是否证明模型正确核实了容量？

不能。权重是计算中的中间量；还要确认资料对应海棠会议室、来源可靠，并检查最终答案是否忠实使用了它。

3. 训练时能并行预测多个位置，为什么普通自回归生成还要逐 token？

训练时真实前缀已知；生成时后续位置需要等待刚生成的 token。并行计算和前缀依赖是不同问题。

把手算接到真实模型

会议室、人数和提示示例是教学构造。接下来对照 Transformer 原论文图2：左图把本篇的点积、缩放、softmax与加权求和串起来；右图把这次读取并行做成多个头，再拼接投影。它是计算流程图，注意力权重并不是会议室容量正确性的证明。

缩放点积注意力与多头注意力的两个完整计算流程 — 原文图形摘引：Ashish Vaswani 等，2017，图2，PDF第4页；核对原文。原版权保留。

如果你已能手算一次读取，就读 Transformer 看掩码怎样限制信息；若问题是“手册已经放进去却没有读到”，接着读 Lost in the Middle 的位置控制实验；若读到了正确人数却从多个答案中选错，转到 GSM8K验证器区分候选覆盖和实际选择。

继续阅读发展时间线 · 打开中英概念与符号速查