Home / 强化学习 / SARSA：学习实际会执行的行为，而不只学习贪心目标

第 06 天｜SARSA：学习实际会执行的行为，而不只学习贪心目标

原论文与版本：On-line Q-learning using connectionist systems，1994。原论文。

阅读范围：原始技术报告的 PDF 文本提取受限，可靠信息限于书目与可识别段落。SARSA 更新采用标准教学形式；原报告的实验数值、表号和变体细节尚未核实。

先接住前作的问题

Q-learning用下一状态的最大Q构造目标，即使实际行为还会随机探索。这个目标没有评价“接下来仍可能选错动作”的行为后果。这是一条与最大化目标平行的控制路线，区别首先在于评价的后续策略。

五个前置概念

on-policy：采样与评价针对同一行为。
ε-greedy：大部分贪心、小部分探索。
SARSA 五元组：目标需要下一动作。
资格迹：把 TD 误差传给历史特征。
函数逼近：用共享参数代替完整价值表。

一、问题设定：继续探索的风险是否也应该进入动作价值

如果下一状态有一个高回报动作和一个危险动作，当前行为并不总会选前者。只用最大值和把探索概率计入未来收益，可能给出不同的当前选择。SARSA研究的是后一种目标：学习实际还会继续执行的行为价值。

要素	本文设定
研究场景	单智能体、无模型、on-policy 的动作价值学习
状态／观测	机器人感知／状态表示；教学上记为 s
动作	当前策略采样的 a 和下一动作 a'
奖励或学习信号	导航目标相关反馈；精确原文奖励本文未核实
终止／边界	到达目标或任务失败；精确阈值未核实

二、让下一动作的采样分布决定评价对象

SARSA 的五元组包含下一步实际抽到的动作，这个看似很小的改变决定了价值在评价谁。对固定策略π， $\mathbb E_{a'\sim\pi}Q(s',a')$ 才是继续按π行动的价值；用一个抽到的a′替代期望，就得到SARSA目标。Q-learning则把这个期望改成最大值，评价未来贪心选择。

持续的ε-greedy探索因此成为SARSA价值的一部分。学到避开危险区域，可能是因为探索会把它推向坏动作，而不是算法内置“风险厌恶”效用。改变ε或停止探索，会改变被评价的策略，不能只拿最终贪心执行成绩概括训练时的全部差异。

1994技术报告研究的是连接主义在线更新及相关资格迹变体，不是仅提出一段表格SARSA(0)。下面代码是目标分布的教学入口。保持已抽取a′到下一步执行，才能让这条轨迹与目标叙述一致。

把最大值替换成实际下一动作的价值

$Q(s,a)\leftarrow Q(s,a)+\alpha[r+\gamma Q(s',a')-Q(s,a)],\quad a'\sim\pi(\cdot|s').$

与 Q-learning 的差异只有目标中的 $Q(s',a')$ 与 $\max_bQ(s',b)$ ，却改变了被评价的策略。若行为持续探索，学到的是该行为下的后果。

把一次抽样与平均目标分开

冻结Q和行为策略后，下一动作采样的期望为 $\sum_{a'}\pi(a'\mid s')Q(s',a')$ 。SARSA用其中一次抽样替代此和式；后继动作少时也可显式求和，但那是不同的目标估计实现，不应把单次噪声误读成评价对象改变。

比较危险后继的平均8与贪心10

以下是可手算的教学构造，不是论文实验。

后继状态有两个动作，Q值为10和−10；行为以0.9与0.1概率选它们， $r=0,\gamma=1$ 。SARSA目标单次可能为10或−10，平均为8；Q-learning目标总是10。

若危险路线终点有同样的探索风险、安全路线价值9，SARSA对固定行为会偏好安全路线。若ε逐渐到0并满足额外条件，两者的长期控制结论又不同。因此这个小例子不能被称为1994论文实验，更不能推出SARSA永远比Q-learning安全。

三、保留抽到的下一动作并继续执行

初始化 Q；每回合 s ← reset()
a ← ε-greedy(Q,s)
while 未结束：
  r,s_next,done ← step(a)
  if done：
    y ← r
  else：
    a_next ← ε-greedy(Q,s_next)
    y ← r+γ*Q(s_next,a_next)
  Q(s,a) ← Q(s,a)+α*(y-Q(s,a))
  if not done: s,a ← s_next,a_next
输出：基于 Q 的行为策略

实现要点：必须执行已经用于目标的 a_next；若更新完后重新采另一个动作，需重新解释采样和目标的一致性。

四、用风险手算图标出原报告证据缺口

实验要素	原文设定与证据范围
环境与任务	原报告移动机器人导航；具体实例待可靠全文核实
数据来源与规模	交互数据规模本文未核实
对比基线	报告含若干 Q/迹更新比较，精确设置未核实
训练预算与资源	步数、网络规模、资源本文未核实
指标及其含义	导航表现及训练参数敏感性，未填数值
随机性与不确定性	本文未核实
实际验证的假设	在线更新和不同目标对学习稳定性的影响

实验解读（本文分析）：原始PDF文字编码损坏，此轮从作者上传的报告摘要确认其重点包括神经函数逼近、在线与回放、模拟移动机器人导航。没有可靠读到图表时，不能用教材悬崖任务填补实验。可以从目标机制解释行为风险，但不补写报告未核实的参数、数值或统计显著性。

图中风险折算来自行为概率

探索行为以0.9和0.1概率取得10与负10，SARSA平均目标8而Q-learning目标10 — 原创教学示意（非原实验）；Rummery与Niranjan，1994，SARSA目标的原创两动作算例；非报告实验。核对原文。本文原创。

绿色与橙色分支都属于实际行为，故SARSA把探索坏动作的可能性算进去，平均值8低于安全路线9。这个手算对照解释目标策略的区别；原报告实验图仍未可靠定位，不能用它宣称1994年的导航实测结果或普遍安全保证。

当前可靠入口只确认TR166报告身份、移动导航任务及在线/回放研究方向，原报告图表尚未可靠定位。这足以交代SARSA历史来源，却不足以支持具体成绩、重复次数或“超过多少”的结论。前面的更新式与风险算例用于解释on-policy评价，不替代原机器人实验；此处不放一个没有原图的结果标签。查看原文。

五、区分包含探索风险与具备安全保证

SARSA评价包含探索的行为，不自带安全效用。固定探索概率下的行为与无探索的贪心策略不同，神经函数逼近也不能自动继承表格收敛性质。原报告实验材料的缺口已在证据节标明，教材悬崖算例不能补成1994年的实测结果。

继续追问：探索日程、部署与旧数据

1. 把 ε 从 0.2 降到零时，评价目标如何变化？

SARSA 的下一动作来自当前 $\epsilon$ -greedy 行为，因此目标随 $\epsilon$ 改变：较大 $\epsilon$ 时评价包含未来探索失误的策略；趋零时逐渐靠近贪心策略。若要引用最优收敛，还需“极限贪心但无限探索”、表格表示和适当步长等条件。有限训练中迅速降为零可能失去访问覆盖；固定 $\epsilon$ 的稳定行为也不等于无探索的最优控制。

2. 训练安全与部署贪心收益应怎样分别报告？

训练阶段报告实际探索行为的累计回报、失败或违规次数、最坏事件及其置信区间；部署阶段另用预先规定的贪心或随机策略做独立评测，并报告起始状态和扰动分布。不能把移除探索后的漂亮分数当作训练安全证据，也不能把训练时的探索损失全算成部署性能。安全终止或回退控制器改变了任务条件，也应单列。

3. 若使用 replay，哪些条件下仍能保持 on-policy 解释？

如果回放中的状态动作与下一动作确实来自当前未改变的策略，或在有限表格的固定策略评价中具有足够覆盖，TD 仍可评价该策略；但这不等于旧轨迹整体就是当前策略访问分布。策略已变而照搬旧 $a_{t+1}$ ，目标通常属于旧策略混合。可以重新按当前策略采样下一动作形成新的目标，或做明确的离策略校正；函数逼近下状态分布改变仍会影响投影结果。

六、沿目标分布和多步信用分配继续读

平行目标对照：Q-learning。若部署采用贪心行为，需重新比较评价对象，不能仅依据训练时的绕路现象决定算法优劣。
信用分配模块组合：TD(λ)。SARSA仍可与资格迹组合，解决一次误差影响多长历史的问题；它并非只能做一步更新。
原论文与图表入口。本次复查作者上传报告入口与可见摘要；原实验图及其编号仍未取得可靠定位。

自测两题

第一题考查核心机制，第二题考查边界与辨析。建议先自行作答，再对照参考答案。以下数值小例子均为教学构造。

问题 1：SARSA 与 Q-learning 的真正差别是什么？

参考答案：SARSA 的目标是：

$r+\gamma Q(s',a'),\qquad a'\sim\text{实际行为策略}$

Q-learning 使用最大 Q。前者把未来继续探索的后果也纳入评价，后者针对下一步采取最优动作的目标。关键区别是评价的后续行为，不只是公式里多了一个变量。

问题 2：为什么悬崖任务中的 SARSA 可能选择更远但安全的路线？

参考答案：即使沿悬崖的贪心动作安全，探索仍可能让智能体掉下去。SARSA 学习包含这种探索风险的行为价值，因此可能绕远。这个结论依赖探索与评价设置，不能概括为“SARSA 在任何任务中都更安全”。