PPO：裁剪的是改进动机，不是概率
用最小两臂bandit看清PPO-Clip：冻结旧策略采样，在同一批数据上做多轮梯度更新，再重新采样。彩色曲线显示正负优势的不同裁剪方向。
修改算法参数会暂停并从固定种子42重置；调整速度不重置。固定种子方便对照，不是性能基准。页面隐藏时自动暂停。
采样批次0
本批更新0
总更新0
当前期望奖励0
图表可左右滑动查看，保留标签和数值大小。
r = πθ(a) / π旧(a)；Lclip = 平均 min[rÂ, clip(r,1−ε,1+ε)Â]；θ ← θ + α∇θLclip
怎么观察
- 第一步固定旧策略并采样32次。动作1奖励1，动作0奖励0；每次动作就是一个完整回合。
- 继续单步：橙色旧概率不动，蓝色当前概率更新。同一批内优势和分母π旧不变。
- 绿线（正优势）在r > 1+ε后变平；红线（负优势）在r < 1−ε后变平。反方向的坏变化仍会被惩罚。
- 提高学习率到5，观察一次梯度更新可以跨出裁剪区间。裁剪目标不等于把参数或概率投影回硬边界，也不保证KL距离被限制。
数学与教学边界
策略为Bernoulli：p(动作1)=sigmoid(z)。精确旧价值V旧=p旧，因此单步优势Â=奖励−p旧。这是无折扣未来项的终止任务；不是凭空指定优势，也没有把每批样本均值当作真实价值。使用32个旧策略样本估计目标，批内不更新基线、不重算优势。
优化采用解析梯度上升。平坦分支的该样本梯度为0，其他样本仍可改变共享参数。演示只展示PPO-Clip策略项，没有学习型critic、GAE、多步轨迹、优势归一化、熵奖励或KL早停，不是完整连续控制PPO实现。有限采样下目标改进不保证真实性能提升。