Home / 强化学习 / FACTOR：先分配动作信用，再决定哪些token承担它

第 58 天｜FACTOR：先分配动作信用，再决定哪些token承担它

原论文与版本：Ma 等，How Much, Then Where: Credit-Conserving Action-to-Token Allocation for Multi-Turn Agent Reinforcement Learning，2026-08-07。正文。

先接住前作的问题

第52天 GRPO可把同一个轨迹优势广播给所有token，多轮工具任务却包含作用不同的动作。FACTOR把尚未回答的问题拆成“每个动作分多少信用”和“动作内分给哪些token”。它组合组基线与TD分解，第2天 TD(λ)提供预测差分的历史背景，并不意味着TAC是资格迹的简单改名；Dr. GRPO则提供检查归约权重的教学对照。

五个前置概念

TAC：用TD分解动作级信用。
Hindsight教师：训练时看到动作后反馈的重评分者。
均值保持：归一化后不改变动作平均系数。
望远镜求和：中间相邻项相消只剩首尾。
Action-mean：先在每个动作内平均再跨动作聚合。

一、问题设定：动作总信用与token落点怎样分开

一次多轮交互含多个动作，每个动作又由多个token构成。整轨迹结果太粗，直接用教师token权重又可能悄悄改变每个动作获得的总信用，导致不同层级的问题混在一起。

本篇允许恢复部分中间环境状态并续跑，以校准动作价值；随后让教师读取动作后的反馈，分配token权重。新增信息权限是方法条件，标量总量守恒与信用估计准确则是两项必须独立检验的命题。

要素	本文设定
研究场景	多轮Agent RL与可恢复环境状态
状态／观测	每次动作前的完整历史x_t
动作	由多个token组成的可执行动作
奖励或学习信号	真实环境奖励／终局回报
终止／边界	有限回合，γ=1；首尾势函数固定

二、用边界TD记动作总账，再分配token落点

TAC先恢复部分中间环境checkpoint，用冻结行为策略续跑得到回报样本，校准中间价值；然后以TD差分给动作分信用。若使用真实价值，TD残差在随机转移下是条件期望意义的优势估计，不是每条样本路径都精确等于真实优势。

论文另设首势函数为组基线b、终势函数为0，使动作信用望远镜相消： $\sum_t[r_t+\widetilde V_{t+1}-\widetilde V_t]=G-b$ 。这个边界调整是记账恒等式，不依赖中间价值准确；首步的调整也应与真实值TD解释分开。两种命题一个谈估计意义，一个谈总量约束，不能互相替代。

HTA让冻结教师看到动作后的反馈，利用教师与学生的token似然差形成符号感知的重要性分数；APM再将非负权重归一为动作内均值1。于是动作平均信用不变，正负号也保持，损失先动作内平均再跨动作平均。

首尾势函数与动作均值约束

$A_t^*=r_t+\widetilde V(x_{t+1})-\widetilde V(x_t),\quad\widetilde V(x_0)=b,\ \widetilde V(x_T)=0,\quad\sum_tA_t^*=G-b.$ $C_{t,j}=A_t^*\omega_{t,j},\quad\frac1{L_t}\sum_j\omega_{t,j}=1.$ 守恒对象是信用系数／旧策略处裁剪前标量surrogate，非任意参数位置的梯度总和。

APM需要动作内均值为1，而不是和为1

若直接把token分数做softmax，权重和为1，长度L的动作平均权重便只有1/L，动作信用会被缩小。要满足这里的APM条件，归一化后还需把权重乘L。实现可分别测试不同长度动作，检查平均权重是否始终为1。

总账守恒但局部信用与梯度仍改变

以下是可手算的教学构造，不是论文实验。

两动作奖励为0、1，b=0.2，中间势函数0.9，信用是0.7与0.1，总和0.8。若中间值错成10，信用变成9.8与−9，总和仍0.8：总账对了，不代表每笔归因合理。

第一动作有两个token，取权重0.5与1.5，均值1。若动作信用0.7，token系数为0.35与1.05，平均仍0.7。设两token梯度向量分别(1,0)、(0,1)，新梯度平均为(0.175,0.525)，原统一信用的平均为(0.35,0.35)；方向改变，恰是重分配的用途，而非守恒定理失败。

三、恢复checkpoint校准价值并归一动作内权重

stop_gradient 表示停止向目标量传播梯度。

用冻结行为策略采多轮轨迹
选择少量中间checkpoint，恢复环境并采续跑
用续跑回报校准价值头
设置首势函数=b、末势函数=0
计算每动作TD信用A_star
教师看到动作后反馈，重评分动作token
将sign-aware分数变成非负权重并按动作归一均值1
C_token←stop_gradient(A_star*weight)
对token构造裁剪项，先动作内平均再跨动作平均
保留原文辅助蒸馏损失并更新策略

四、把守恒、价值校准和扰动诊断放在同一图中辨析

实验要素	原文设定与证据范围
环境与任务	ALFWorld、WebShop、ScienceWorld
数据来源与规模	在线多轮轨迹加checkpoint续跑
对比基线	SERL重现、延长计算基线及组件消融
训练预算与资源	Qwen2.5-7B；150步、G=8；约3.5倍环境调用、1.25倍墙钟相对相关基线
指标及其含义	成功率、信用守恒与跨骨干表现
随机性与不确定性	3种子42/43/1337；训练重复与评估重复分别计
实际验证的假设	动作信用与token分配解耦是否改善多轮学习

图5：守恒、校准与扰动是三项证据

FACTOR的动作信用失真、独立价值估计校准和token扰动诊断 — 原论文图形摘引；Ma等，2026，Figure 5；原HTML图形。核对原文。原版权保留。

图5左图横轴是动作内平均token乘子偏离1的绝对值，纵轴是密度，检验“总量有没有被悄悄改掉”；FACTOR集中在零附近是归一化应有的性质。中图横轴是独立高样本MC信用估计，纵轴为TAC信用，虚线是二者相等，橙/蓝分别表示早/晚阶段，离对角线远说明分配不准，即使左图仍守恒。右图比较高、低分配token扰动后的回报变化差，正负信用分组的符号应分开看；该较小扰动子集是局部诊断，不是对所有token因果贡献的证明。

原表1比较三个环境的受控成绩；移除TAC等消融及预算匹配用于检查收益是否只来自额外训练。核对原文。

三种子结果、续跑权限与预算匹配

表1的受控Qwen2.5-7B比较报告3个训练种子的均值与样本标准差，带文献标记的外部结果则不全共享该协议，不能混排成等成本证据。续跑与教师增加训练信息和环境调用，论文预算对照有助于检验收益是否仅来自更多计算，但现实工具环境是否能安全恢复checkpoint仍是适用条件。

五、能恢复环境与能解释因果，是不同要求

原表三个绝对差按对应顺序为2.2、2.4、4.2个百分点，不能照抄成相对提升。

恢复状态和教师读取后验反馈都是额外训练权限；token似然差是信用分配启发，不是独立因果贡献。

六、三个值得继续追问的问题与参考答案

1. 若中间价值严重不准，守恒是否仍帮助训练？

标量首尾相减仍可望远镜守恒，但错误中间价值会把信用分给错误步骤，甚至翻转局部符号。守恒只限制总量，不保证分配质量，因此可能有利于尺度稳定，也可能损害训练。应把守恒误差、与独立高样本价值估计的一致性、实际策略收益分别测量；可注入已知价值噪声测试何时分配收益消失。

2. 梯度方向不守恒为何不与标量守恒矛盾？

若token权重满足某个均值或求和约束，只保证标量系数总量；策略梯度是这些系数乘各token的 $\nabla\log\pi$ 后的向量和。不同token的score方向不同，所以重分配即使保持总系数，也会旋转梯度。只有额外满足相应向量条件才可能梯度相同；原方法的信用守恒不能被表述成“更新方向不变”。

3. 无法恢复工具环境状态时如何校准价值？

无法精确恢复工具状态时，重复从同一前缀采样未必对应同一真实决策状态，Monte Carlo校准会混入外部状态变化。可使用可审计快照/沙盒、只读或幂等重放，或基于真实历史训练价值并注明离线覆盖限制。若这些条件都不可用，应承认原校准权限不成立，改用更弱的整轨迹检验，不能声称获得同等精确的中间状态价值。

七、沿未解决的问题继续读

DRACO：没有可恢复状态或可靠真成功验证器，步骤信用还能从哪里来？DRACO改用动态准则judge及步骤引用，是后续平行路线；它保总系数的方式与动作均值约束也不同。（后续平行路线）
TTPO：教师看额外答案上下文时，token筛选得到的是纠正信号还是错误强化？TTPO在测试时适应中提出另一种权限与分配组合，属于教学比较而非FACTOR的直接继承。（后续教学对照）

原文核对与路线出处

原论文与图表入口。TAC命题与边界恒等式、HTA/APM、表1三种子受控结果与预算讨论。
历史背景：TD学习。TAC继续用预测差分配信用，但增加checkpoint续跑与边界校准。
模块组合：GRPO。组基线提供轨迹总信用，FACTOR进一步拆到动作和token。
并行路线：DRACO。后作也重分配轨迹优势，但其步骤质量来自动态rubric judge而非续跑价值。

自测两题

第一题考查核心机制，第二题考查边界与辨析。建议先自行作答，再对照参考答案。以下数值小例子均为教学构造。

问题 1：为什么先分配动作信用，再分配到动作内部的 token？

参考答案：两层问题不同：动作信用决定这一步总体应受奖还是受罚，token 权重决定内部哪些位置承担更多更新。FACTOR 用边界校准的 TD 信号确定前者，再用后验反馈教师分配非负权重，并使每动作的权重均值为 1。原文方法

问题 2：信用总和守恒，为什么仍不能证明归因正确？

参考答案：望远镜求和可以让中间价值相消，即使中间估值错误，总和仍可能正确。而不同 token 的梯度方向不同，标量系数守恒也不等于梯度向量守恒。它保证一种分配约束，不保证每一步都获得真实因果贡献。