AgentOPSD

自动研究时间：2026-08-08 09:02（Asia/Shanghai）
来源日期：Hugging Face Daily Papers 页面实际显示 Aug 7，列表最顶部为 AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning；详情页标注 #1 Paper of the day。
研究路径：Daily Papers 列表 -> Hugging Face 详情页 -> arXiv v1 摘要页 -> arXiv 完整 PDF 与 e-print LaTeX 源文件（含正文、理论附录、实验表、消融、超参数和提示词）-> 官方代码仓库。

执行摘要

长程智能体强化学习常用可验证的终局奖励：任务完成记 1，失败记 0。GRPO 可以不用 critic，直接从同一任务的一组轨迹构造相对优势，但会把同一个轨迹级优势广播给轨迹里的每个 token。于是，真正扭转结果的关键动作、无害的例行操作和已经无法挽救的后续动作，收到的更新方向与强度几乎一样。交互轮数越多，这种信用错配越严重。

清华大学、浙江大学与美团的研究者提出 AgentOPSD，试图在保留 GRPO 无 critic、无额外 rollout 的优点时，把信用细化到环境交互的 turn。方法先让同一个模型以两个视角重打分学生自己生成的动作：学生只看正常交互历史，训练期 self-teacher 额外看到从 SkillBank 检索到的成功技能。两者对同一 token 的 log-probability 差被累加成 turn 级证据，再以组内成功率为先验，在 log-odds 空间递归更新“最终会成功”的相对信念。一个 turn 的信用不是它自己的局部概率差，而是它让累计信念改变了多少。

这种信念修订不会取代终局 verifier。AgentOPSD 先用终局优势的符号对修订方向做对齐，再把 turn 信用在单条轨迹内标准化成有界正乘数，只调整 GRPO 更新的相对强度，不翻转原有方向。论文证明了重塑后的优势有界、保号，并在混合系数为 0 时严格退化为 GRPO；训练增加的是特权 teacher 重打分，而不是价值网络或新轨迹采样。推理时不再需要技能或 teacher。

在 Qwen2.5-3B/7B-Instruct 上，AgentOPSD 分别在 ALFWorld、Search-QA 和 WebShop 的全部八个聚合指标上超过 GRPO。例如 7B 的 ALFWorld 成功率从 81.2% 提升到 89.1%，Search-QA 平均准确率从 42.0% 提升到 49.2%，WebShop Score/Acc 从 80.9%/72.6% 提升到 90.2%/79.7%。消融也支持论文的机制叙事：把递归修订换回局部 gap，ALFWorld 从 89.1% 降到 82.8%；去掉 outcome-aligned 符号降到 80.5%；去掉组成功率先验降到 78.9%。

但“Bayesian belief”需要谨慎理解。技能条件分支并不等同于真实的成功条件分布，论文也明确把 $B_k$ 称为相对支持度，而非校准后的成功概率。方法依赖可用的训练期技能库与检索器，teacher 重打分仍有计算成本；实验只覆盖两个 Qwen2.5 尺度、三个环境和固定 150 个训练 step，没有报告多随机种子置信区间。ALFWorld 的长程斜率分析只有六个子任务级观测，属于描述性证据，不足以证明因果关系。因此，AgentOPSD 最有价值的地方，是提供了一种可插入 critic-free RL 的时序信用重塑思路，而不是已经建立了通用、无偏的贝叶斯信用分配器。

1. 论文基本信息

核心链接：

• Hugging Face 详情页：https://huggingface.co/papers/2608.05987
• arXiv 摘要页：https://arxiv.org/abs/2608.05987
• arXiv PDF：https://arxiv.org/pdf/2608.05987
• arXiv HTML 全文：https://arxiv.org/html/2608.05987
• 官方代码仓库：https://github.com/ZethWang/AgentOPSD

2. 背景与动机：终局奖励知道谁赢，却不知道哪一步重要

2.1 GRPO 的优势也是它的盲点

对同一个任务采样 $G$ 条轨迹，GRPO 用终局奖励构造组相对优势：

这避开了价值网络训练，也让可自动判定的任务很适合规模化强化学习。但标准做法会让轨迹 $i$ 的每个生成 token 都继承同一个 $A_{\mathrm{seq}}^{(i)}$。它能回答“哪条轨迹相对更好”，却回答不了三个更细的问题：

1. 成功轨迹里，哪个动作真正推动了任务完成？
2. 失败轨迹里，哪些局部推理或工具调用其实是正确的？
3. 当早期证据已经几乎决定结果时，后面的相似动作是否仍应得到同等信用？

在单轮数学题中，这个近似可能尚可接受；在网页、搜索或具身环境中，一条轨迹可以包含数十轮“观察—动作—新观察”，同一标量覆盖的决策越多，误分配空间就越大。

2.2 token 级自蒸馏还不是时序信用

On-Policy Self-Distillation（OPSD）为学生自己的 rollout 增加一个特权视角。teacher 与 student 参数相同，但 teacher 在训练时额外得到正确答案、技能或未来信息；对学生已经采样出的 token，两条分支的概率差可以形成稠密监督。

问题在于，token 是语言模型的生成单位，不一定是环境的决策单位。一次 search[...]、click[...] 或 put object in receptacle 动作可能包含多个 token，却只在动作完成后触发一次环境转移。把概率差逐 token 使用，会把一个完整决定切碎。

即便先聚合到 turn，单独看当前 turn 的 gap 仍未利用历史。相同的局部正 gap 在两种情形中意义不同：

• 当前成功可能性仍高度不确定时，它可能是决定性证据；
• 前几轮已经把结果推向确定时，它可能只是重复确认。

AgentOPSD 的中心判断正是：local gap 不等于 sequential credit；信用应取决于局部证据对历史累计信念的边际修订。

2.3 作者希望同时守住的四个约束

这使论文不是另造一套 RL 算法，而是为 GRPO 的优势分配增加一个 turn 级 reshaping 层。

3. 核心贡献

3.1 把自蒸馏 gap 提升为环境对齐的 turn 证据

方法对 student 生成的同一动作分别计算正常上下文和技能增强上下文下的 log-probability，再把动作内所有 token 的差求和。这样，信用更新的边界与环境返回 observation 的边界一致。

3.2 用递归 belief revision 表示历史依赖

作者不直接把 turn gap 当信用，而是维护带衰减的证据累计量，在 log-odds 空间更新成功支持度。信用由连续两个状态之差 $\Delta B_k$ 给出，因此会自然受到已有历史和 sigmoid 饱和区间影响。

3.3 用有界、保号的乘数重塑 GRPO 优势

teacher 信号只改变每个 turn 的更新强度。乘数始终为正，终局 verifier 给出的优势符号不会被翻转；混合系数设为 0 时，目标严格回到标准 GRPO。

3.4 通过机制消融而不只是排行榜验证设计

论文分别替换 turn 粒度、递归状态、outcome-aligned 符号和组成功率先验。四项替换都降低 ALFWorld 结果，其中去掉先验与方向的损失最大，说明收益不只是来自“多做一次 teacher forward”。

4. 方法详解

4.1 训练期的双视角 self-teacher

在 turn $k$ 的第 $t$ 个 token，学生上下文与 teacher 上下文分别为：

其中 $s_k$ 是正常可见的任务与交互历史，$c^+$ 是通过关键词匹配从 SkillRL 的 SkillBank 检索到的训练期技能，包含有用子目标和动作模式。teacher 与 student 共用参数，并对 student 已生成的动作打分，因此它不是一个更大的外部模型。

每个 token 的 detached gap 为：

对一个 turn 内的 $L_k$ 个 token 求和：

如果技能上下文让 student 实际选择的动作更可能出现，$e_k>0$；反之则为负。求和而非均值意味着它对应整个动作似然比，但也可能让动作长度影响证据幅度。后续轨迹内标准化会缓解尺度差异，却没有从理论上消除长度与 gap 的耦合。

4.2 为什么论文使用贝叶斯解释

令 $C$ 表示“轨迹最终成功”。理想的 turn 证据是成功条件行为与失败条件行为的 log likelihood ratio：

真实的两个条件分布不可直接获得，AgentOPSD 用 self-teacher contrast $e_k$ 近似。附录给出两个关键假设：

• A1：技能条件分支近似成功条件行为， $\pi_\theta(a_k\mid s_k,c^+)\approx p(a_k\mid s_k,C)$；
• A2：当当前成功概率很低时，无条件行为由失败分布主导， $\pi_\theta(a_k\mid s_k)\approx p(a_k\mid s_k,\neg C)$。

只采用 A1 时，$e_k$ 更接近 action 与成功事件之间的 pointwise mutual information；当成功概率趋近 0 时，才逼近理想 Bayes factor。论文证明近似修正项对理想因子单调，因此 gap 保留符号与证据强弱排序。这里的理论作用是为排序和方向提供解释，不是证明 $e_k$ 等于真实因果贡献。

4.3 递归信念状态

每组轨迹的平均成功率作为初始先验：

随后在 log-odds 空间累计 turn 证据：

展开后，旧证据按 $\gamma^{k-j}$ 几何衰减。主实验统一使用 $\gamma=0.95$；$\gamma=1$ 则变成不衰减的顺序 likelihood-ratio 累计。

turn $k$ 的边际修订为：

一阶近似揭示了递归与直接使用 $e_k$ 的差别：

这里包含两道门：

1. 新证据先扣除旧累计证据因衰减造成的 carry-over 变化；
2. $B(1-B)$ 在 $B=0.5$ 时最大，接近 0 或 1 时趋近 0。

因此，结果未定时同样的 gap 影响更大；信念饱和后，同类证据被视为冗余。作者也明确说明，self-teacher 只提供 proxy，所以 $B_k$ 应看成相对支持度，而非经过校准的成功概率。

4.4 与终局结果对齐

信念上升不总是应该被奖励。若轨迹最终失败，一个让模型更相信成功的 turn 与 verifier 结论相矛盾。论文因此定义：

在成功轨迹中，上修信念的动作得到更高相对信用；在失败轨迹中，下修信念的动作反而更符合终局结论。这个符号并不会直接成为 policy gradient 的方向，而会先进入下一步的正值乘数。

4.5 有界优势重塑

对单条轨迹内的 $q_k$ 做标准化：

再混合回轨迹优势：

主实验使用 $\lambda=0.5$、$b=0.2$，所以 turn 间的强度调整是受控的。每个 token 继承所属 turn 的 $\widetilde A_k$，再进入标准 clipped GRPO objective。没有单独的 distillation loss，teacher gap 的唯一作用是重塑优势。

论文给出三项关键性质：

这三项性质保证训练不会被 teacher 信号彻底改写，但不等于优势重塑是无偏估计。它仍是以经验 proxy 调整 policy gradient 权重的 biased shaping。

4.6 一次训练迭代的完整链路

1. 对一个任务检索训练期技能 $c^+$；
2. 用 student policy 采样 $G=8$ 条多轮轨迹；
3. verifier 给出每条轨迹的二元终局奖励；
4. 计算 GRPO 的 $A_{\mathrm{seq}}$ 与组成功率 $B_0$；
5. teacher 用相同参数、附加技能重打分 student 的现有动作；
6. token gap 聚合为 $e_k$，递归得到 $B_k$ 与 $\Delta B_k$；
7. 结合终局符号得到 $q_k$，轨迹内标准化并生成有界乘数；
8. 每个 token 使用所属 turn 的重塑优势完成一次 clipped policy update。

与标准 GRPO 相比，没有新环境交互、critic 或可学习的信念网络。附录把代价概括为每条轨迹一次 teacher forward，但伪代码注释又写成每个 turn 一次额外 teacher forward；工程上可以批量重打分整条轨迹，论文却没有报告实际吞吐、wall-clock 或显存增量，精确开销仍不透明。

5. 实验设计

5.1 三类环境

Search-QA 只有 NQ 与 HotpotQA 用作 in-domain，其他五个数据集 held out；检索器采用 E5。WebShop 使用既有工作的 128 个固定验证任务。

5.2 基线分组

带 * 的方法在验证时仍使用检索技能。AgentOPSD、GRPO+OPSD、Skill-SD、RLSD、SDAR 等关键对照使用相同训练期特权信息，因此主比较尽量隔离“如何使用 gap”，而不是“是否获得技能”。AgentOPSD 推理时不使用技能。

5.3 统一训练设置

ALFWorld 与 WebShop 的训练 batch 为 16，Search-QA 为 128；训练 rollout temperature 为 1.0，验证为 0.4。论文使用 FSDP 单节点训练，环境配置表分别为 ALFWorld 8 GPU、WebShop 2 GPU、Search-QA 4 GPU。

6. 主要实验结果

6.1 与 GRPO 的完整聚合比较

八个聚合比较全部超过标准 GRPO，且提升不只发生在最长的 ALFWorld。值得注意的是，WebShop 的 Score 允许部分满足，Acc 要求完整满足；两者同时提升，说明结果不只是更接近目标，而是完整成功率也提高。

6.2 与强自蒸馏基线的关系

论文称 AgentOPSD 在两个模型尺度的八个聚合比较中全部超过 GRPO+OPSD、Skill-SD 与 RLSD，并在八项中的六项超过 SDAR。查看表格可以得到更细的边界：

• 3B ALFWorld 上 AgentOPSD 与 SDAR 都是 84.4%，并非严格领先；
• 7B WebShop Acc 上 SDAR 为 82.8%，高于 AgentOPSD 的 79.7%；
• 其余六项 AgentOPSD 高于 SDAR。

这支持递归 gap 有用，但也表明它没有统治所有指标。尤其 WebShop 完整成功率上，更直接的 auxiliary distillation loss 仍可能有优势。

6.3 子任务结果并非全面第一

AgentOPSD 的聚合均值很强，但逐列看仍有明显差异。例如 7B ALFWorld 的 Pick 为 91.2%，低于 Skill-GRPO* 与 RLSD 的 100%；Cool 为 75.0%，低于 RLSD/StepOPSD 的 80.0%。Search-QA 的 TriviaQA、PopQA、2Wiki、Bamboogle 等列也并非全部最佳。

因此，更稳妥的结论是：递归信用在不同任务分布上提高了总体表现，而不是每种技能或每个子任务都得到最优策略。

6.4 长程退化斜率

作者在 Qwen2.5-7B 的六个 ALFWorld 子任务上，用成功轨迹的平均 turn 数作为任务长度，对每种方法的成功率做 OLS 回归：

AgentOPSD 的斜率最平，符合“长程越长，uniform credit 越不合适”的动机。但这个分析只有六个子任务级数据点，而且长度由成功轨迹估计，可能与任务难度和策略质量共同变化。论文正文把它解释为一致性证据；从统计角度，它应被视为描述性相关，而非 AgentOPSD 消除长程信用问题的因果证明。

7. 消融实验：收益究竟来自哪里

消融均在 Qwen2.5-7B / ALFWorld 上进行。

7.1 turn 边界比 token 边界更匹配环境

per-token 版本仍然拥有 self-teacher 与递归累计，却比 turn 版本低 3.2 个百分点。这与环境在完整 action 后返回 observation 的结构一致：token gap 可以细，但不一定对应可归因的环境事件。

7.2 recursion 的价值独立于 gap 本身

直接使用局部 $e_k$ 仍比完整方法低 6.3 个百分点。这是最直接的机制证据：拥有相同 teacher 信息，仅把“当前 gap”改成“gap 对历史状态的修订”，结果就发生明显变化。

7.3 方向与先验比粒度本身影响更大

只保留修订幅度会混淆“在成功轨迹中提升成功信念”和“在失败轨迹中错误提升成功信念”；结果下降 8.6 个百分点。去掉 $B_0$ 更差，说明组成功率不仅是数值初始化，还决定 sigmoid 的工作区间和早期证据的灵敏度。

不过，每项消融只报告一个最终数值，没有误差条、重复次数或显著性检验。差异方向与理论一致，但无法判断不同随机种子下的稳定程度。

8. 超参数敏感性

8.1 reshaping weight 是最敏感的旋钮

在 7B ALFWorld 上，$\lambda=0.5$ 得到 89.1；降到 0.25、0.1、0.01 时分别为 84.4、85.9、83.6。Search-QA 也呈现 $\lambda=0.5$ 最优。说明 turn credit 必须有足够权重才能体现，过度靠近 GRPO 会丢掉收益。

8.2 evidence decay 没有单调规律

作者扫描 $\gamma\in\{1.0,0.95,0.9,0.8\}$。结果在数个百分点内变化，但没有随“记得更久”或“更重近期”单调提升。主设置 0.95 是温和衰减，不代表论文找到了普遍最优记忆跨度。

8.3 PPO clip 变化影响较小

固定低端 clip 为 0.2，把高端从 0.2 调到 0.24、0.28，整体差异有限。作者据此认为 reshaped objective 继承了 GRPO 的 trust-region 稳健性。短程、最多四轮的 Search-QA 对这些旋钮更不敏感，也与“历史少时递归作用较弱”的解释一致。

9. 相关工作中的位置

9.1 相对 GRPO 与 agentic GRPO

GRPO、DAPO 等方法通过组内比较移除 critic，但主要保留轨迹级优势。GiGPO 从重复 anchor state 的环境奖励中构造 step-level advantage；AgentOPSD 则从训练期 self-teacher 的 likelihood gap 构造 turn evidence。两者的信号源不同：前者更靠环境回报，后者更靠特权知识造成的策略差异，理论上具有互补性。

9.2 相对 OPSD、RLSD、SDAR 与 StepOPSD

• OPSD 直接把特权分支当稠密 token teacher；
• GRPO+OPSD 把轨迹 RL loss 与 token distillation loss 相加；
• RLSD 用局部 gap 缩放 token 的 GRPO 更新；
• SDAR 保持原 GRPO advantage，并增加有门控的 auxiliary self-distillation loss；
• StepOPSD 已经聚合到 step/turn，但各 step 仍独立使用 local log-ratio。

AgentOPSD 的新意不在“使用 teacher-student gap”，而在先对齐环境 turn，再把局部 gap 放入历史依赖的递归状态，用边际 belief revision 排序信用。

9.3 相对传统长程信用分配

PPO + GAE 用 learned value function 与 temporal-difference error 分配逐步信用；RUDDER 尝试把延迟奖励重新分解到关键步骤；process reward model、VinePPO 等方法则依赖中间评分器或额外 Monte Carlo rollout。它们能得到更直接的 step structure，代价是 critic、reward model 或更多采样。

AgentOPSD 用 $B_k$ 类比 value baseline、用 $\Delta B_k$ 类比 TD signal，但这个“value”来自技能条件概率差，并不从真实 return 学得。它更轻量，也更依赖 proxy 的质量。

10. 局限与证据边界

10.1 Bayesian 是解释框架，不是校准保证

A1 要求检索技能使同参数 teacher 近似成功条件策略；A2 又依赖成功较稀少。技能可能过时、过于泛化或与当前 observation 冲突，无条件策略也未必由失败行为主导。论文能论证 gap 与理想证据的符号、排序关系，却没有证明 $B_k$ 是校准概率。

10.2 优势重塑有偏，但论文没有直接量化偏差

有界和保号只限制修改幅度。由于 $e_k$ 依赖实际采样动作，$\Delta B_k$ 也带 action dependence；轨迹内标准化后，重塑优势不保持严格的终局 credit budget。实际收益说明这种 bias 可能有用，但不能把它解释成无偏 advantage estimator。

10.3 依赖训练期 SkillBank

AgentOPSD 不需要推理技能，却需要训练期存在可检索、能被模型利用的技能。没有高质量技能库，teacher 与 student gap 可能趋近于噪声或 0，方法也会退化。论文没有系统扫描错误技能、缺失技能、不同 retriever 或对抗性技能条件。

10.4 “无额外 rollout”不等于“几乎无成本”

teacher 仍要对 student 轨迹做额外 forward。论文没有给训练 tokens/s、GPU-hours、峰值显存或相对 GRPO 的实际耗时；附录对 forward 粒度的措辞也不完全一致。对长上下文、多 turn 轨迹，重打分可能是显著成本。

10.5 实验覆盖有限

• 只有 Qwen2.5 的 3B 与 7B 两个尺度，没有跨架构或更大模型；
• 三个环境都属于文本交互，没有 GUI、代码执行或真实浏览器；
• 每个环境只训练 150 step，不能说明更长训练后的收敛关系；
• 论文没有报告多随机种子均值、标准差或统计显著性；
• SkillBank、训练数据与具体工程栈的耦合限制了独立归因。

10.6 长程证据仍然较弱

ALFWorld 最多 50 turn，WebShop 15 turn，Search-QA 4 turn。斜率分析只有 ALFWorld 六类任务；真正包含数百轮、跨天记忆或持续变化环境的 agent 尚未验证。当前证据支持“长一点时相对更有效”，还不能外推到持续数小时或数月的自主系统。

10.7 极端组奖励没有提供学习信号

若一个 GRPO group 全成功或全失败，$B_0$ 会被 clip 保持有限，但组相对优势为 0，这些轨迹不会贡献 policy update。AgentOPSD 细化的是已有 verifier advantage 的分配，不能解决 group 内奖励完全无方差的问题。

11. 应用影响

11.1 最适合的训练场景

AgentOPSD 特别适合同时满足以下条件的任务：

1. 最终结果可自动验证，但中间步骤没有可靠 reward；
2. 一条轨迹包含多个可清晰划分的环境 turn；
3. 存在训练期可用的成功技能、专家提示或其他特权上下文；
4. 额外 teacher 重打分比训练 critic 或增加 rollout 更便宜。

潜在场景包括网页购物与表单操作、检索型研究智能体、终端任务、代码修复、数据库操作、具身规划和多工具工作流。关键不是任务属于哪一行业，而是“成功信号稀疏、关键 turn 很少、历史影响重要”。

11.2 对工程系统的启示

论文提供了三个可迁移的设计原则：

• 按环境事件而非模型 token 划分信用：动作结束、工具返回或 observation 更新是更自然的边界；
• 把局部评分放回历史状态解释：相同局部得分在不确定期与饱和期不应拥有相同权重；
• 让 proxy 调强度，让 verifier 定方向：当中间评分器不够可靠时，保号的 bounded shaping 比直接把它当 reward 更稳妥。

11.3 它不是什么

AgentOPSD 不是推理期规划模块，不会直接告诉 agent 下一步做什么；它也不是无需额外知识的通用 GRPO 替代品。它是后训练阶段的 credit reshaper，价值取决于训练期 privileged context 能否提供与成功相关的排序信号。

12. 综合评价

AgentOPSD 的论文叙事相当集中：它没有声称重新解决所有 agent RL，而是抓住“局部 gap 不是时序信用”这一处结构性缺口。完整结果与消融大体支持这个判断，尤其递归状态、outcome sign 和 $B_0$ 先验的独立贡献较清楚。

最值得保留的结论不是 89.1% 这个单点成绩，而是一条更通用的训练原则：当稀疏 verifier 只能判断整条轨迹，而训练期又有不完全可靠的细粒度 proxy 时，可以让 verifier 决定全局方向，让历史条件化的 proxy 只在有界范围内重新分配强度。 这为 critic-free agentic RL 提供了一个成本与精细度之间的新折中。

参考资料

1. Wang, Zi-Han, et al. AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning. arXiv:2608.05987, 2026.
2. Hugging Face. AgentOPSD Paper Page.
3. AgentOPSD Authors. Official AgentOPSD Code Repository.
4. Shao, Zhihong, et al. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. 2024.
5. Schulman, John, et al. Proximal Policy Optimization Algorithms. 2017.
6. Schulman, John, et al. High-Dimensional Continuous Control Using Generalized Advantage Estimation. 2016.
7. Arjona-Medina, Jose A., et al. RUDDER: Return Decomposition for Delayed Rewards. 2019.
8. Shridhar, Mohit, et al. ALFWorld: Aligning Text and Embodied Environments for Interactive Learning. 2020.
9. Yao, Shunyu, et al. WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents. 2022.
10. Jin, Bowen, et al. Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning. 2025.