https://wq-win.github.io/ 强化学习、大语言模型、机器人学习与机器人经典基础论文精读。 zh-CN https://wq-win.github.io/rl/01-actor-critic.html https://wq-win.github.io/rl/01-actor-critic.html 假设小车已经走了很多步，最后杆倒下了。失败信号说明整段控制出了问题，却没有指出早先哪个动作应该改变。行动搜索需要及时反馈，而及时反馈又只能先依赖对未来失败的预测；ASE与ACE的分工正是在这个缺口中提出的。 https://wq-win.github.io/rl/02-td-lambda.html https://wq-win.github.io/rl/02-td-lambda.html 一个随机过程依次产生观测 x0,x1,\ldots,x{T-1}，结束时才给出结果 z。例如棋局胜负，或本篇实验中“随机游走最终从哪一端离开”。学习器在每一步输出预测 Pt，希望它接近给定当前信息时终局结果的条件期望。这里先固定产生轨迹的过程，不是训练一个改变动作的策略。 https://wq-win.github.io/rl/03-dyna.html https://wq-win.github.io/rl/03-dyna.html 导航智能体每次移动会得到下一位置和任务奖励。只用这条真实经验更新，可以学习当前经过的状态动作，却不能立即让所有相关旧状态都知道新结果。Dyna研究的正是昂贵交互下的学习与规划：学习器能否一边行动、一边建模，再让模型生成一步经验，交给同一个更新器？ https://wq-win.github.io/rl/04-q-learning.html https://wq-win.github.io/rl/04-q-learning.html 动态规划可以在已知转移规律下比较动作；现在学习器只有实际发生的一条转移，还不知道其他结果的概率。要保留长期最优目标，同时承受一次采样带来的噪声，就必须说清楚更新哪个表项、目标选哪个动作，以及哪些表项会被反复访问。 https://wq-win.github.io/rl/05-reinforce.html https://wq-win.github.io/rl/05-reinforce.html 奖励告诉学习器抽出的动作是否带来好结果，却不给正确动作标签，也未必能对动作求导。可以求导的是自己定义的抽样概率。REINFORCE的问题因此变成：怎样用结果给“刚才为什么抽中这个动作”的导数加权，使期望更新对应期望奖励的改善方向？ https://wq-win.github.io/rl/06-sarsa.html https://wq-win.github.io/rl/06-sarsa.html 如果下一状态有一个高回报动作和一个危险动作，当前行为并不总会选前者。只用最大值和把探索概率计入未来收益，可能给出不同的当前选择。SARSA研究的是后一种目标：学习实际还会继续执行的行为价值。 https://wq-win.github.io/rl/07-options.html https://wq-win.github.io/rl/07-options.html “走到门口”不是固定的一串左转右转：途中可能遇到障碍，执行长度也会变化。上层想复用这段行为，就必须同时知道何时能调用、如何在内部反应，以及何时收回控制。评价它时还不能忘记这些内部步骤消耗的时间。 https://wq-win.github.io/rl/08-policy-gradient-theorem.html https://wq-win.github.io/rl/08-policy-gradient-theorem.html 策略变化会让未来访问的状态也变化，因此不能随手把状态分布视为常数。另一方面，一个价值网络可能均方误差不小，却恰好不影响策略能改变的方向。要建立可靠的Actor–Critic解释，必须同时处理这两个问题。 https://wq-win.github.io/rl/09-natural-policy-gradient.html https://wq-win.github.io/rl/09-natural-policy-gradient.html 把一个概率参数的单位放大，普通梯度的数值也会改变；但智能体面对的行为选择未必改变。自然策略梯度希望按“策略分布改了多少”衡量一步，而不是按参数表面距离衡量一步。这个要求只先定义局部方向，还没有替代步长选择。 https://wq-win.github.io/rl/10-lspi.html https://wq-win.github.io/rl/10-lspi.html 一批转移记录了环境在已访问状态动作上的反应。当前策略改变以后，环境记录仍可使用，但下一状态准备采取的动作变了，评价方程也必须改变。LSPI要从同一批证据反复提取策略评价信息，而不是把重复求解计作更多独立样本。 https://wq-win.github.io/rl/11-double-q.html https://wq-win.github.io/rl/11-double-q.html 如果两个动作真实同样好，各自估值也平均正确，每次总挑估得较高的那个，报告出来的价值仍会偏高。选择操作筛选了误差。这里要修正的是选择与评价复用同一噪声的机制，而不是让每个单独估计器更大或更复杂。 https://wq-win.github.io/rl/12-gps.html https://wq-win.github.io/rl/12-gps.html “先找到一次成功”与“让通用策略学会稳定产生成功”是两个问题。局部动力学优化可以提供较好的运动轨迹，策略搜索却要处理引导分布与自身分布之间的差异。GPS把采样来源、重要性估计与约束偏离放进同一个循环。 https://wq-win.github.io/rl/13-dpg.html https://wq-win.github.io/rl/13-dpg.html 一个确定性Actor在每个状态只输出一个动作，但仍需要知道把这个动作稍微向左或向右改会怎样影响长期回报。如果Critic能提供动作方向的局部导数，Actor就可以再用自身的Jacobian把它变成参数方向；难点在于这个导数及访问分布是否可信。 https://wq-win.github.io/rl/14-trpo.html https://wq-win.github.io/rl/14-trpo.html 旧策略收集的轨迹只能直接描述旧访问分布。若新策略一次改得很远，训练目标看上去提高，实际却可能进入完全不同的状态。TRPO要限制的是这类替代误差：先说明性能差来自哪里，再把不可直接计算的要求逐步近似成可执行更新。 https://wq-win.github.io/rl/15-gae.html https://wq-win.github.io/rl/15-gae.html 一步TD优势及时，但依赖后继价值；完整回报减基线少用中间自举，却带来更长轨迹的噪声。GAE把不同跨度混合起来。分析必须同时说明价值误差、尾部截断，以及γ本身相对未折扣任务改变了什么，不能把所有偏差只归给λ。 https://wq-win.github.io/rl/16-dqn.html https://wq-win.github.io/rl/16-dqn.html 输入从可枚举状态变成像素后，一次梯度更新会同时改变许多状态动作值，下一步训练目标还依赖这些值。历史经验能否重复利用、目标能否暂时不动，成为从价值更新走到可用视觉控制系统的关键问题。 https://wq-win.github.io/rl/17-ddpg.html https://wq-win.github.io/rl/17-ddpg.html Critic需要一个后继动作来构造目标，Actor又需要Critic告诉它动作向哪里改。两个估计器相互依赖，若都快速追逐对方，就可能把虚假的高价值不断放大。DDPG通过目标Actor、目标Critic与回放组织这个循环，但仍要面对价值误差。 https://wq-win.github.io/rl/18-double-dqn.html https://wq-win.github.io/rl/18-double-dqn.html 网络数量不是核心问题。只要构造目标时仍由同一个估计器决定谁最好、最好值多少，最大化偏差就还在。现在要尽量保持DQN系统不变，仅替换目标的选择与评价来源，才能较清楚地检验这一个改动。 https://wq-win.github.io/rl/19-per.html https://wq-win.github.io/rl/19-per.html 一个回放池里既有已经预测得很好的转移，也有刚暴露明显错误的转移。优先处理后者可能更快传播信息，却也可能把随机噪声误认为学习价值。若抽样频率改变，还要说明优化目标是否仍是均匀回放下的平均更新。 https://wq-win.github.io/rl/20-dueling-dqn.html https://wq-win.github.io/rl/20-dueling-dqn.html 在一条没有障碍的直路上，许多动作的长期结果可能差不多。每次只看到一个动作的转移，却希望学到整个处境的共同价值。Dueling让状态流与动作差异流共同产生Q；问题是怎样固定这种分解，使共享训练有清楚的含义。 https://wq-win.github.io/rl/21-alphago.html https://wq-win.github.io/rl/21-alphago.html 一个擅长预测人类落子的策略，未必已经知道复杂局面的胜率，也未必给搜索提供最好的候选多样性。原版AlphaGo的问题是怎样让多个学习组件为搜索服务，并让搜索反过来利用终局模拟，而不是用单一分类准确率代表棋力。 https://wq-win.github.io/rl/22-a3c.html https://wq-win.github.io/rl/22-a3c.html 一个worker采样期间，其他worker已经可能改了共享参数。并行能带来多样轨迹与更高吞吐，也让梯度到达时变旧。A3C要在这个系统条件下构造Actor与Critic的多步目标，并区分墙钟改善、样本效率和策略滞后。 https://wq-win.github.io/rl/23-gail.html https://wq-win.github.io/rl/23-gail.html 专家示范包含在哪里行动以及怎样行动。行为克隆直接学后者，却可能因早期小偏差改变后续状态。GAIL希望让学习者整段访问分布都接近专家，判别器据此提供可用于策略优化的代价；它不要求恢复唯一的真实奖励。 https://wq-win.github.io/rl/24-icm.html https://wq-win.github.io/rl/24-icm.html 预测下一张画面失败，可能因为智能体走进新区域，也可能因为角落里的白噪声永远不可预测。若把两者一概奖励，策略会追逐无用变化。ICM先用逆动作任务塑造特征，再在这个特征空间里衡量前向预测误差。 https://wq-win.github.io/rl/25-maddpg.html https://wq-win.github.io/rl/25-maddpg.html 同样是向右推，队友同时推或拉会产生不同结果。独立Critic若只看自己的输入，就把这些不同条件混成噪声。集中训练允许评价器利用更多条件，但这种训练权限不能悄悄变成部署时Actor能读取全局信息。 https://wq-win.github.io/rl/26-her.html https://wq-win.github.io/rl/26-her.html 机械臂没把物体推到指定位置，却确实推到了另一个位置。只要目标不改变物理转移，这次经历就能回答“怎样到达那个已达到的位置”。HER的价值来自真实转移的新任务解释，而不是把失败事实改成原任务成功。 https://wq-win.github.io/rl/27-ppo.html https://wq-win.github.io/rl/27-ppo.html 同一批旧策略样本多训练几轮，可以提高利用率，却也可能越来越偏离产生它们的策略。PPO-Clip希望让已经朝有利方向改动过多的样本不再提供额外奖励；关键问题是目标在哪一侧被截平，以及这是否真能禁止概率比越界。 https://wq-win.github.io/rl/28-c51.html https://wq-win.github.io/rl/28-c51.html 一个动作总得1分，另一个动作一半得0、一半得2，平均价值相同却有不同结果结构。C51让网络输出固定支撑点上的概率，随后必须解决一个实际问题：奖励平移和折扣压缩以后，新的概率质量通常不再落在原来的网格上。 https://wq-win.github.io/rl/29-rainbow.html https://wq-win.github.io/rl/29-rainbow.html 所有组件最终都要作用于同一批经验和同一个训练目标。多步尾部需要怎样折扣，选择动作应看哪个分布，优先级又按什么误差更新，这些接口若不一致，系统即使列齐六个名称也不是原算法。 https://wq-win.github.io/rl/30-sac.html https://wq-win.github.io/rl/30-sac.html 如果训练只奖励Q，外加噪声只是采样手段，最终优化仍可能压成单一动作。SAC让保留多种选择本身具有目标价值。于是Actor、Q和V必须使用同一熵约定，有界连续动作的log概率也必须按真实输出分布计算。 https://wq-win.github.io/rl/31-td3.html https://wq-win.github.io/rl/31-td3.html Critic的误差不是被动报告给策略的噪声，策略优化会有方向地利用它。只增加一个评价器还不够：目标怎样取值、Actor多快跟随、是否过分依赖单个尖锐动作点，都可能决定误差如何被反复放大。 https://wq-win.github.io/rl/32-impala.html https://wq-win.github.io/rl/32-impala.html Learner看到一条轨迹时，当前策略可能已不再按当时概率选择那些动作。若仍把它当成on-policy数据，多步目标的解释就错了。重要性比值可以校正差异，但长链乘积又会放大方差，因此要分别决定当前残差和后续传播怎样截断。 https://wq-win.github.io/rl/33-diayn.html https://wq-win.github.io/rl/33-diayn.html 先不给“走路”或“跳跃”的人工标签，而给策略一个随机抽到的技能编号。不同编号应产生可区分状态，同一编号又应保留行动多样性。关键不只是让判别器准确，而是避免技能采样坍缩，并检查这些可区分行为是否对下游任务有用。 https://wq-win.github.io/rl/34-qmix.html https://wq-win.github.io/rl/34-qmix.html 训练可以看全局状态，执行却不能枚举所有人的联合动作再集中选择。QMIX希望把团队价值分解成每个人可单独比较的效用，同时保留比简单求和更丰富的状态依赖。为了让这种局部选择一致，表示必须接受单调约束。 https://wq-win.github.io/rl/35-pets.html https://wq-win.github.io/rl/35-pets.html 一个平均动力学预测可能隐藏完全不同的未来路径。规划不仅要问候选动作序列的平均回报，还要把数据随机性和模型知识不足传播到未来。PETS用粒子与集成近似这件事，再通过反复重规划减少一次错误长预测支配执行的时间。 https://wq-win.github.io/rl/36-rnd.html https://wq-win.github.io/rl/36-rnd.html 新状态之所以有高误差，可以是预测器还没学过这个输入，而不必是未来动力学难以预测。RND固定每个观测对应的随机目标，让预测误差随熟悉程度下降。不过新随机像素仍会形成新输入，奖励尺度与跨回合边界也仍要设计。 https://wq-win.github.io/rl/37-bcq.html https://wq-win.github.io/rl/37-bcq.html 离线学习只能重用给定转移，无法为了核实一个高Q动作再去环境试一次。若Actor仍在全动作空间自由最大化，最高值可能恰好出现在最没证据的位置。BCQ因此先限制候选来自数据行为附近，再允许小范围改进。 https://wq-win.github.io/rl/38-bear.html https://wq-win.github.io/rl/38-bear.html 行为数据可能99%选择平庸动作，1%试过好动作。离线改进希望利用这1%的证据，而不是因为频率少就禁止它；同时又要拒绝完全没支持的动作。如何用有限样本和拟合行为模型区分这两种偏离，是BEAR的核心问题。 https://wq-win.github.io/rl/39-mbpo.html https://wq-win.github.io/rl/39-mbpo.html 模型连续展开会把自己的预测当作下一步输入，局部误差随之改变后续分布。MBPO不要求想象贯穿整项任务，而从真实回放状态分叉短轨迹，将更长收益交给价值自举。这样仍需决定模型经验占多少梯度，不能只把展开步数调小就宣布模型可信。 https://wq-win.github.io/rl/40-dreamer.html https://wq-win.github.io/rl/40-dreamer.html 每次在像素空间长搜索成本很高，而模型预测也不必保留每个像素细节。Dreamer学习能支持动态、奖励和观测的潜在世界，再从真实观测推断的状态出发想象。关键是Actor怎样利用动作对未来的导数，以及有限想象外的收益由谁补上。 https://wq-win.github.io/rl/41-muzero.html https://wq-win.github.io/rl/41-muzero.html 给定观测历史，智能体既要决定当前动作，又要在未知环境里评估尚未执行的动作序列。直接重建所有未来像素是一项很强的建模要求；MuZero把问题缩到决策所需的信息：能否只预测奖励、剩余价值和搜索先验，就保留规划的收益？ https://wq-win.github.io/rl/42-cql.html https://wq-win.github.io/rl/42-cql.html 现在只允许使用固定转移数据，不能执行一个可疑动作来纠正Q。普通TD误差约束了数据里出现的动作，却可能对其他动作留下很乐观的预测；一旦策略或自举目标选择这些动作，估值错误就会进入下一轮更新。 https://wq-win.github.io/rl/43-awac.html https://wq-win.github.io/rl/43-awac.html 任务分成两个数据权限不同的阶段：起初只能读已有轨迹，随后可以继续与环境或机器人交互。评价目标因此不只有最后的回报，还包括离线起点是否可靠、刚上线是否掉分，以及新增真实交互多久才产生改善。 https://wq-win.github.io/rl/44-decision-transformer.html https://wq-win.github.io/rl/44-decision-transformer.html 固定数据含有好坏不同的轨迹。直接行为克隆会把它们混在一起，价值方法则需要依赖自举目标；本篇尝试把“希望得到多少回报”作为输入，让同一序列模型根据历史和目标生成动作。 https://wq-win.github.io/rl/45-td3-bc.html https://wq-win.github.io/rl/45-td3-bc.html 本篇同时处理控制问题和实验问题。控制上，只有固定连续动作数据，策略不能靠新交互纠正外推高值；实验上，网络、输入规范化和调参差异可能掩盖所谓算法提升。 https://wq-win.github.io/rl/46-iql.html https://wq-win.github.io/rl/46-iql.html 离线数据已经给出了状态、动作、奖励和后继状态。我们希望在这些证据内改进策略，同时避免通过max或Actor生成一个没有数据支持的动作，再让Q为它背书。 https://wq-win.github.io/rl/47-instructgpt.html https://wq-win.github.io/rl/47-instructgpt.html 预训练语言模型擅长延续文本，但用户要的是遵循指令、有帮助且尽可能真实的回答。扩大模型不自动把这两个目标变成同一个目标，因此本篇引入人类示范和同提示回答排序，研究这些反馈能否改变输出。 https://wq-win.github.io/rl/48-dreamerv3.html https://wq-win.github.io/rl/48-dreamerv3.html 同一世界模型算法面对像素、状态向量、稀疏奖励和大幅度价值时，各预测头与行为梯度的数值尺度会发生变化。为每个任务重新调损失权重和学习率，会削弱训练配方的可复用性。 https://wq-win.github.io/rl/49-dpo.html https://wq-win.github.io/rl/49-dpo.html 已有同一提示下的优选与拒绝回答，也有一个固定参考策略。传统流程要先拟合奖励，再采样回答、估计价值、更新策略；本篇问这些偏好标签是否能够直接形成策略损失。 https://wq-win.github.io/rl/50-ipo.html https://wq-win.github.io/rl/50-ipo.html 有限数据中，一个回答可能在所有已见比较里都获胜，真实人群的偏好却未必确定。若把经验胜率1直接送入logit，目标就要求无穷大的奖励间隔；继续降低经验损失可能只是在强化有限标签。 https://wq-win.github.io/rl/51-kto.html https://wq-win.github.io/rl/51-kto.html 现在每个样本只有提示、单条回答和好坏标签，未必存在一个能与它配对的回答。收集要求因此变轻，但相对胜负与绝对好坏的含义并不相同：从一对回答拆出的胜者，也可能只是两个坏答案中稍好的一条。 https://wq-win.github.io/rl/52-grpo.html https://wq-win.github.io/rl/52-grpo.html 数学提示固定后，当前策略可以生成一组回答，并由结果或过程奖励模型评分。这里的成本问题是额外价值模型，统计问题则是如何判断某个回答相对同题其他回答更值得增加概率。 https://wq-win.github.io/rl/53-r1.html https://wq-win.github.io/rl/53-r1.html 要解释推理增强，必须先固定起点和训练权限。R1-Zero从已预训练的DeepSeek-V3开始，完整R1再加入冷启动和后续数据流程，小模型蒸馏则读取大模型生成的筛选回答；它们回答的因果问题不同。 https://wq-win.github.io/rl/54-dapo.html https://wq-win.github.io/rl/54-dapo.html 在线数学RL每轮都要生成、评分、筛样并更新。即便名义上都叫GRPO，一次更新中可能只剩很少有区分度的组，策略可能过早确定化，长回答的token也可能因归约被压低权重。 https://wq-win.github.io/rl/55-dr-grpo.html https://wq-win.github.io/rl/55-dr-grpo.html 同样的奖励差，如果来自更长回答或不同组方差，会被原GRPO换成不同大小的token系数。因此要解释训练动态，不能只报告“用了组相对优势”，还要逐项写出损失分母。 https://wq-win.github.io/rl/56-mbdpo.html https://wq-win.github.io/rl/56-mbdpo.html 世界模型中的高预测回报不必对应真实好动作。搜索越偏向高值，越可能访问价值网络缺少训练证据的序列，下一轮Bellman目标又把这些估值纳入训练，形成分布失配。 https://wq-win.github.io/rl/57-worldsample.html https://wq-win.github.io/rl/57-worldsample.html 真实机器人试错昂贵，但一段看似合理的视频并不等于一条可信转移。若奖励模型也误判成功，合成TD目标会把模型的错误带进Critic，再影响真实动作。 https://wq-win.github.io/rl/58-factor.html https://wq-win.github.io/rl/58-factor.html 一次多轮交互含多个动作，每个动作又由多个token构成。整轨迹结果太粗，直接用教师token权重又可能悄悄改变每个动作获得的总信用，导致不同层级的问题混在一起。 https://wq-win.github.io/rl/59-ttpo.html https://wq-win.github.io/rl/59-ttpo.html 测试题可见，标准答案不可用于训练；模型仍能生成多个候选并抽取多数答案。多数票可以提供伪标签，却也会把共同错误当成共识，因此简单把所有一致回答一律强化存在风险。 https://wq-win.github.io/rl/60-draco.html https://wq-win.github.io/rl/60-draco.html 任务指令、轨迹和工具反馈可见，真实成功检查器只用于独立评价，不能进入训练。固定的一套准则可能很快饱和，整轨迹分数又无法告诉策略哪些工具步骤应承担更多更新。 https://wq-win.github.io/llm/001-lstm.html https://wq-win.github.io/llm/001-lstm.html 一句话开头给出条件，结尾才要求使用它，中间都是干扰。普通循环网络 ht=f(Wh{t-1}+Uxt) 形式上可依赖全部历史，其中 xt 是输入、ht 是状态；但误差需要穿过许多局部导数的乘积，尺度持续小于一会衰减，大于一又可能爆炸。问题不只是怎样表示记忆，而是末端误差怎样训练最初的保存动作。 https://wq-win.github.io/llm/002-nnlm.html https://wq-win.github.io/llm/002-nnlm.html 训练文本有“猫坐在垫子上”，没有“狗坐在垫子上”，模型需要用已知句子帮助预测未知组合。若词表有 V 个词，长度为 n 的组合可达 V^n，逐一观察不现实；任务因此是在未见词序列上泛化，同时让全部候选概率相加为一。连续共享表示要与成熟的平滑计数方法比较，而不是与只会背句子的查表比较。 https://wq-win.github.io/llm/003-rnnlm.html https://wq-win.github.io/llm/003-rnnlm.html 想象会议先讨论数据库，几十个词后出现“索引”。此前话题可能有助于预测这个词，却不一定处在最近五个词中。把所有历史词拼进窗口会直接扩大输入；本篇改为维护一个有限维循环状态。因此具体问题是：每读入一个词，怎样更新这个压缩表示，让窗口外的话题仍能影响下一词预测？ https://wq-win.github.io/llm/004-word2vec.html https://wq-win.github.io/llm/004-word2vec.html 如果最终要把词向量交给其他任务，训练完整神经语言模型是否必要？NNLM 的输出层和复杂隐藏映射消耗大量计算，本篇改用邻词与中心词的局部预测，把省下的预算用于更多文本；需要检验的是这种便宜代理任务保留了哪些有用关系。 https://wq-win.github.io/llm/005-negative-sampling.html https://wq-win.github.io/llm/005-negative-sampling.html 训练“中心词—邻词”关系时，完整 softmax 要把全部候选得分归一化，成本随词表扩大。既然最终主要使用词向量几何，能否转而区分真实搭配和少量噪声搭配？这会改变学习目标，而非只是更便宜地计算同一个精确条件分布。 https://wq-win.github.io/llm/006-seq2seq.html https://wq-win.github.io/llm/006-seq2seq.html 翻译输入有十个词，输出可能有十二个词，也未必逐位置对应。传统系统把词组、对齐和语言模型分开处理；本篇希望直接学习源句 x 到目标句 y 的条件分布，用编码状态连接两条不同长度的序列，并用结束符决定何时停止。 https://wq-win.github.io/llm/007-attention.html https://wq-win.github.io/llm/007-attention.html 长源句包含多个实体、修饰和重排，固定向量接口要求编码器在解码开始前把所有有用细节压到同一状态。可是生成不同目标词需要不同信息：本篇保留每个源位置的注释，让“此刻读哪里”随解码状态改变。 https://wq-win.github.io/llm/008-glove.html https://wq-win.github.io/llm/008-glove.html “冰”和“蒸汽”都与水相关，“固体”对二者的关联差异却更有区分度。共现矩阵 X{ij} 记录词 j 出现在词 i 上下文中的次数，但常见词的巨大计数与罕见搭配的不稳定性会影响直接低秩分解；问题是怎样利用相对关系，又控制频率尺度。 https://wq-win.github.io/llm/009-adam.html https://wq-win.github.io/llm/009-adam.html 不同参数的梯度频率与尺度可能差别很大，小批量梯度 gt 的方向还可能在相邻 batch 反转。直接使用当前梯度会摆动，只平滑方向又未必解决统一步长难兼顾各坐标的问题；本篇同时维护方向与平方尺度的滑动统计，再处理它们从零开始的偏差。 https://wq-win.github.io/llm/010-distillation.html https://wq-win.github.io/llm/010-distillation.html 多个模型集成能平均部分个体误差，却要求推理时运行多个网络。若教师把数字3判得最像3、同时更容易与8而非1混淆，只给学生硬标签会抹去这层关系。本篇问的是：一个较小学生能否从完整软分布学到集成决策结构，并把主要成本留在训练阶段？ https://wq-win.github.io/llm/011-bpe.html https://wq-win.github.io/llm/011-bpe.html 新名字可能要复制或音译，复合词要组合翻译，词缀变化又需要共享词根。把整词替换成UNK会丢掉内部结构；扩大词表虽能覆盖更多已见词，却增加输出层，也覆盖不了未来所有构词。问题是能否让陌生词由已知片段组成，并交给翻译网络学习其用法。 https://wq-win.github.io/llm/012-layernorm.html https://wq-win.github.io/llm/012-layernorm.html 如果一个样本的输出依赖同批其他样本，改变batch构成就可能改变计算。BatchNorm在不少视觉模型有效，但小批量、在线与可变长序列不总适合这种耦合；循环网络各时间步的分布还会变化。本篇把统计范围转为当前样本内部的一组隐藏单元。 https://wq-win.github.io/llm/013-fasttext.html https://wq-win.github.io/llm/013-fasttext.html “walk”“walked”“walking”共享拼写，整词向量却要各自获得训练。稀有词出现过但更新少，词表外词没有完整词项参数；形态丰富的语言更会把同一词根的数据分散。这里要让不同词通过可复用字符片段交换统计信号，同时保留表达整体词义的空间。 https://wq-win.github.io/llm/014-sparse-moe.html https://wq-win.github.io/llm/014-sparse-moe.html 稠密网络对每个输入几乎执行全部参数，扩大容量通常同步扩大计算。语言输入可能需要不同规则，于是本篇给模型许多专家、每次只选少数；但若路由本身昂贵、负载拥堵或通信过多，节省的纸面FLOPs未必转为实际加速。 https://wq-win.github.io/llm/015-transformer.html https://wq-win.github.io/llm/015-transformer.html 循环模型让远处词通过多步状态传递，还要求后一步等待前一步。注意力可缩短相关位置之间的路径，取消递归又能让已知训练序列的多个位置并行；这两项收益相关但不同。顺序信息与解码因果性仍需由位置表示和掩码明确提供。 https://wq-win.github.io/llm/016-elmo.html https://wq-win.github.io/llm/016-elmo.html 英文bank在金融与河岸语境中拼写相同，静态查表通常返回同一词向量；子词也无法仅凭拼写确定当前用法。本篇让表示依赖整句上下文，并开放多层特征给下游任务选择，而非只导出每个词的一组固定参数。 https://wq-win.github.io/llm/017-gpt.html https://wq-win.github.io/llm/017-gpt.html 分类是一句话，蕴含是一对句子，选择题又有多个候选；若每项任务从头建立独立架构，有限标签难以支撑充分表示学习。本篇先利用大量无标签文本做下一token预测，再通过输入排列和最终读出的小幅适配，让主要Transformer骨干进入监督微调。 https://wq-win.github.io/llm/018-bert.html https://wq-win.github.io/llm/018-bert.html 有些词义需要后文才能确定，但直接让双向网络预测未改动的当前位置会给它抄答案的机会。两个单向模型输出拼接也不等于多层持续融合左右线索；本篇因此先破坏部分输入，再恢复被选位置，使深层双向计算获得可训练任务。 https://wq-win.github.io/llm/019-transformer-xl.html https://wq-win.github.io/llm/019-transformer-xl.html 固定片段让当前token看不到上一段信息，也让每段开头缺少正常前缀；即使任务没有很长依赖，后一个问题仍会增加损失。评价时重算重叠前缀又增加成本。本篇希望复用旧表示，同时把前向历史长度与反向训练图大小分开。 https://wq-win.github.io/llm/020-adapters.html https://wq-win.github.io/llm/020-adapters.html 十个分类任务各自保存完整BERT，会重复存储大量相似基础知识。共享骨干并独立保存任务增量可降低边际存储，也避免直接覆盖其他任务使用的主参数；但适配变化能否被小模块表达，需要质量与容量实验检验。