HER：失败轨迹也能成为训练样本
小机器人没到达右上角的原目标，但路过了别的位置。每一步重放都保留真实状态和动作，只从这条轨迹的未来状态采样一个新目标，再重算奖励和 Q 学习目标。
图表可左右滑动；键盘聚焦图表后可使用左右方向键滚动。
灰线：真实采集轨迹；蓝色：本次真实转移；黄色：原目标；绿色：未来 achieved goal。
这次重放到底改了什么？
原样本 (s, a, s′, g) 与 HER 样本 (s, a, s′, g′) 的 s、a、s′ 完全相同。g′ 从 s[t+1] 到未来窗口末尾均匀采样，固定种子便于比较。奖励 r = 0（距离 ≤ 成功半径），否则 −1。选到更远的未来目标，本次转移仍可能奖励 −1。
两份独立的目标条件 Q 表从 0 开始：一份仅重放原目标，另一份重放原目标 + 一个 HER 样本。更新 Q ← Q + α[r + 0.95 max Q(s′,·,g) − Q]。这里使用固定时域、非吸收的到达任务，成功不设 done；采集结束也不当作环境终止，允许 bootstrap。共重放 8 轮，原目标成功率不被 HER 的重标成功率替代。
教学边界
这是二维确定性格点上的离策略表格 Q 学习与 future 重标演示，不是机械臂或 DDPG 复现。没有额外探索、神经网络或真实机器人训练。画出的轨迹固定，不会因为重标而改变；HER 也不能凭空创造没有采集过的状态转移。