论文 “Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine”（arXiv:2610.22192，腾讯混元 Frontier / NUS 等）要解决的问题终端 Agent（如 SWE-bench、Terminal-Bench 这类任务）要在可执行环境里多轮操作，最后通过受保护的验证器才算成功。论文认为现有 RL 训练有三个障碍：时间膨胀（temporal dilation）：一次 shell 操作可能只有几百个 token，环境返回的观测却有几千个。标准 GAE 按 token 长度做折扣，所以奖励信用的衰减取决于日志有多长，而不是实际交互了几轮。两条决策和结果都相同的轨迹，可能只因为一条输出更啰嗦就拿到不同的信用。递归监督中的价值漂移：每轮 SFT 改写之后，actor 的分布会变，奖励定义也在变。把 critic 重置会丢掉已学到的回报结构，原样沿用又可能带着系统性偏差。部分进度奖励与真正成功错位：在原有奖励下，失败轨迹拿走了50.09%的奖励总量。有 48 条失败轨迹通过了全部已执行的场景检查，却没过最终的终端验证。方法：RSR 与 RPR 交替的递归循环流程是 Base → RSR-1 → RPR-1 → RSR-2 → RPR-2，共五个阶段，基座模型为 Qwen3.8-27B。RSR（Recursive Self-Rewrite，递归自改写）：只训练 actor。先在辅助 harness 下发现成功轨迹，再生成 runbook 计划，经过泄漏审查后在标准 harness 下重新执行并验证，保留下来的干净轨迹用于 SFT。这一阶段 critic 权重不动（Δφ = 0）。RPR（Recursive P 
长河君 · 2026/11/5 1:54:41 · 阅读 1.2k Terminal-RSI 论文分析
论文 “Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine”（arXiv:2610.22192，腾讯混元 Frontier / NUS 等）要解决的问题终端 Agent（如 SWE-bench、Terminal-Bench 这类任务）要在可执行环境里多轮操作，最后通过受保护的验证器才算成功。论文认为现有 RL 训练有三个障碍：时间膨胀（temporal dilation）：一次 shell 操作可能只有几百个 token，环境返回的观测却有几千个。标准 GAE 按 token 长度做折扣，所以奖励信用的衰减取决于日志有多长，而不是实际交互了几轮。两条决策和结果都相同的轨迹，可能只因为一条输出更啰嗦就拿到不同的信用。递归监督中的价值漂移：每轮 SFT 改写之后，actor 的分布会变，奖励定义也在变。把 critic 重置会丢掉已学到的回报结构，原样沿用又可能带着系统性偏差。部分进度奖励与真正成功错位：在原有奖励下，失败轨迹拿走了50.09%的奖励总量。有 48 条失败轨迹通过了全部已执行的场景检查，却没过最终的终端验证。方法：RSR 与 RPR 交替的递归循环流程是 Base → RSR-1 → RPR-1 → RSR-2 → RPR-2，共五个阶段，基座模型为 Qwen3.8-27B。RSR（Recursive Self-Rewrite，递归自改写）：只训练 actor。先在辅助 harness 下发现成功轨迹，再生成 runbook 计划，经过泄漏审查后在标准 harness 下重新执行并验证，保留下来的干净轨迹用于 SFT。这一阶段 critic 权重不动（Δφ = 0）。RPR（Recursive P