论文Recursive Self Improvement for Embodied Agents — A Survey of Mechanisms, Evaluation and Open Challenges作者来自中国科大 / Futurewei2026 年 10 月 21 日。一、核心问题具身基础模型VLA、世界模型、WAM让机器人在执行上更自主了但改进上未必自主。一次任务失败可能来自很多环节目标指代错误、观测缺失、技能选错、起始位姿不当、运动策略不足、动力学模型不准。所以关键问题有两个失败后改哪里凭什么证据决定保留这次改动RSI递归自我改进的更强目标是改进产生后续改进的那个机制本身而不只是改进策略或技能库。如图 1所示三个相互关联的过程执行、持续的系统改进以及对改进程序的改进。二、概念划分论文的基础作者区分了五个层级并且强调要用不同的证据来证明概念保留的改动要回答的评估问题回合内纠错当前的计划、动作或输出这一次执行有没有变好持久自我改进知识、代码、策略或模型以后的任务有没有受益版本继承改进后继版本累积的改动收益是否超出多搜索、多经验本身带来的效果元级改进提议、采集、训练或选择流程后继版本是否真的调用了修改后的机制已证实的递归增益一个被继承下来、更有效的改进器在资源和起点相同时它能否产出更好的后续改进几个重要论点不以是否更新权重作为 RSI 的边界。冻结的骨干模型也可以通过工具、技能、工作流实现持久改进。反过来RL 持续训练策略但目标、采样、算法和接受规则都固定那只算策略层面的自我改进不是元级递归。能力增长、谁负责改进决策自主性、改进器本身是否变强这三件事必须分开评估。哥德尔机这类证明式保证不能直接套到物理机器人上。现有具身系统基本靠经验性的搜索和验证。三、理论基础第 2 节大模型层预训练、ICL、CoT/ToT、RLHF/PPO/GRPO/DPO、推理时优化。作者强调推理时多采样和在线权重更新是两回事。机器人模型层VLA 输出动作分布 π(a | h, l)世界模型预测动作的后果WAM 联合生成动作和未来观测。三者在改进中扮演的角色不同。Agent 层POMDP 和信念状态、记忆工作 / 情景 / 语义 / 程序、Options 框架下的技能抽象。把执行系统形式化为 S (F, H, K, P, W)即基础模型、Harness、知识与技能、可执行策略、世界模型。RSI 形式化提议Propose→ 应用Apply→ 验证与选择Select→ 元更新MetaUpdate并给出干预选择准则在资源约束下最大化期望增益 − 成本Eq. 10。四、Harness 视角第 3 节通用 Agent Harness 和具身 Harness 的关键差异坐标系与可供性affordance、多速率调度、物理后置条件验证、物理复位软件回滚不够、试验与磨损成本。对比的方法GEPA、DGM、Hyperagents、AIDE²、Harness²数字域参照以及 EnactOpt、DynaHarness、RegenHarness、RoboFoundry、AdaRSI、HexaAnything、PhysEvo、MotorMind、SoL-Pi、VLMeg具身域。五、四轴分类框架第 4 节核心贡献改进目标What记忆与技能、执行 Harness、数据与环境、策略参数、世界模型、跨层或元级流程更新机制How反思与知识修订、程序搜索与演化、自适应经验获取、参数学习、世界辨识与修订、干预选择与元流程修订决策自主性Who诊断、选干预、采集、训练、接受、部署、停止分别由谁决定证据条件Evidence版本变化、后继是否使用、独立测试、迁移、物理试验、受控的元增益对比如图所示作者明确反对把这四轴压缩成一个成熟度等级。如图所示推理、反思和记忆的关系六、六类机制综述第 5 节反思与知识Voyager、RoboHarn-Evo、CarryOn。反思本身可能出错需要附上适用条件和证据来源。程序与 Harness 演化EnactOpt、DynaHarness、RegenHarness、RoboFoundry。更好的调用可以修好调用方式但补不出缺失的运动能力。自适应经验与环境共演化EmbodiRSIreal-to-sim-to-real、EmbodiedSmith、EmbodiedSWE、Eureka。参数学习与自主练习Self-Improving EFM、MobiAgent、VLMeg。要警惕伪标签和遗忘。世界模型修订D-World数字孪生残差修正、DreamerV3、DreamZero。预测损失降低不等于控制变好。跨层选择与元改进AdaRSI 先改 Harness、不够再训练子步策略PhysEvo 中元智能体可以修改自己的诊断工具。七、性能证据第 6 节论文刻意不做排行榜只在各自的协议内解读结果。例如EnactOptALFWorld 66.06% → 92.70%EAI 72.34% → 95.74%AdaRSI在未见组合任务上VLA 4.6% → 加 Harness 9.9% → 完整系统 13.8%DynaHarness冻结策略 17.5% → 完整系统 75.2%CarryOn违规率 52.6% → 6.1%负面证据123 轮智能体技能发现中局部改动反复通过测试却始终没完成目标任务。如图所示基于证据的干预措施选择这些结果都不能直接当作递归增益的证据。八、基准与评估协议第 7 节梳理了 RoboCasa365、LIBERO / LIBERO-PRO、VLABench、ALFWorld、EAI、EmbodiedBench、BEHAVIOR-1K、RMBench、RoboMME、EWMBench、WorldArena 等并指出每个基准需要披露的条件。数据分成六种角色D_pre预训练、D_seed初始适配、D_imp改进经验、D_val候选接受、D_test最终评估、D_transfer元流程迁移。资源预算用向量记录token、GPU 小时、物理交互、复位时间、人工投入。元增益的操作化定义Eq. 14新改进器 U⁺ 和基线 U⁻ 从同一个系统和同一批经验出发、预算相同用独立评估器在未参与选择的任务上比较得分差。best-so-far 曲线上升不能区分改进器更强和搜索更多 / 初始化更好。如图所示修正的改进器比较九、开放问题第 8 节因果失败归因故障注入、匹配状态重试、组件替换可靠反馈与演化中的评估器同源模型既提议又评判会导致误差相关需要外部锚点物理复位与安全继承报告复位成功率、耗时、状态漂移和人工介入经验覆盖与能力保持提出回归指标 REq. 15防止新能力掩盖旧能力的退化世界模型共演化的现实锚定防止只是适应了模拟器的误差可迁移的改进器与停止决策何时停止、何时切换干预层跨本体迁移十、结论具身自我改进的对象已经从单一策略扩展到知识、技能、Harness、数据和世界模型。现有工作证明了组件级和系统级的收益但迭代次数、冻结骨干或更高的最终成功率本身都不能证明递归增益。下一步的关键是可靠归因、完整的物理成本核算、能力保持以及独立、匹配条件下的改进器对比。一句话概括这篇综述主要贡献的不是新方法而是一套严格的什么才算具身 RSI、需要什么证据的分析框架和评估规范。 
长河君 · 2026/10/31 2:03:04 · 阅读 1.2k 具身智能体RSI技术综述
论文Recursive Self Improvement for Embodied Agents — A Survey of Mechanisms, Evaluation and Open Challenges作者来自中国科大 / Futurewei2026 年 10 月 21 日。一、核心问题具身基础模型VLA、世界模型、WAM让机器人在执行上更自主了但改进上未必自主。一次任务失败可能来自很多环节目标指代错误、观测缺失、技能选错、起始位姿不当、运动策略不足、动力学模型不准。所以关键问题有两个失败后改哪里凭什么证据决定保留这次改动RSI递归自我改进的更强目标是改进产生后续改进的那个机制本身而不只是改进策略或技能库。如图 1所示三个相互关联的过程执行、持续的系统改进以及对改进程序的改进。二、概念划分论文的基础作者区分了五个层级并且强调要用不同的证据来证明概念保留的改动要回答的评估问题回合内纠错当前的计划、动作或输出这一次执行有没有变好持久自我改进知识、代码、策略或模型以后的任务有没有受益版本继承改进后继版本累积的改动收益是否超出多搜索、多经验本身带来的效果元级改进提议、采集、训练或选择流程后继版本是否真的调用了修改后的机制已证实的递归增益一个被继承下来、更有效的改进器在资源和起点相同时它能否产出更好的后续改进几个重要论点不以是否更新权重作为 RSI 的边界。冻结的骨干模型也可以通过工具、技能、工作流实现持久改进。反过来RL 持续训练策略但目标、采样、算法和接受规则都固定那只算策略层面的自我改进不是元级递归。能力增长、谁负责改进决策自主性、改进器本身是否变强这三件事必须分开评估。哥德尔机这类证明式保证不能直接套到物理机器人上。现有具身系统基本靠经验性的搜索和验证。三、理论基础第 2 节大模型层预训练、ICL、CoT/ToT、RLHF/PPO/GRPO/DPO、推理时优化。作者强调推理时多采样和在线权重更新是两回事。机器人模型层VLA 输出动作分布 π(a | h, l)世界模型预测动作的后果WAM 联合生成动作和未来观测。三者在改进中扮演的角色不同。Agent 层POMDP 和信念状态、记忆工作 / 情景 / 语义 / 程序、Options 框架下的技能抽象。把执行系统形式化为 S (F, H, K, P, W)即基础模型、Harness、知识与技能、可执行策略、世界模型。RSI 形式化提议Propose→ 应用Apply→ 验证与选择Select→ 元更新MetaUpdate并给出干预选择准则在资源约束下最大化期望增益 − 成本Eq. 10。四、Harness 视角第 3 节通用 Agent Harness 和具身 Harness 的关键差异坐标系与可供性affordance、多速率调度、物理后置条件验证、物理复位软件回滚不够、试验与磨损成本。对比的方法GEPA、DGM、Hyperagents、AIDE²、Harness²数字域参照以及 EnactOpt、DynaHarness、RegenHarness、RoboFoundry、AdaRSI、HexaAnything、PhysEvo、MotorMind、SoL-Pi、VLMeg具身域。五、四轴分类框架第 4 节核心贡献改进目标What记忆与技能、执行 Harness、数据与环境、策略参数、世界模型、跨层或元级流程更新机制How反思与知识修订、程序搜索与演化、自适应经验获取、参数学习、世界辨识与修订、干预选择与元流程修订决策自主性Who诊断、选干预、采集、训练、接受、部署、停止分别由谁决定证据条件Evidence版本变化、后继是否使用、独立测试、迁移、物理试验、受控的元增益对比如图所示作者明确反对把这四轴压缩成一个成熟度等级。如图所示推理、反思和记忆的关系六、六类机制综述第 5 节反思与知识Voyager、RoboHarn-Evo、CarryOn。反思本身可能出错需要附上适用条件和证据来源。程序与 Harness 演化EnactOpt、DynaHarness、RegenHarness、RoboFoundry。更好的调用可以修好调用方式但补不出缺失的运动能力。自适应经验与环境共演化EmbodiRSIreal-to-sim-to-real、EmbodiedSmith、EmbodiedSWE、Eureka。参数学习与自主练习Self-Improving EFM、MobiAgent、VLMeg。要警惕伪标签和遗忘。世界模型修订D-World数字孪生残差修正、DreamerV3、DreamZero。预测损失降低不等于控制变好。跨层选择与元改进AdaRSI 先改 Harness、不够再训练子步策略PhysEvo 中元智能体可以修改自己的诊断工具。七、性能证据第 6 节论文刻意不做排行榜只在各自的协议内解读结果。例如EnactOptALFWorld 66.06% → 92.70%EAI 72.34% → 95.74%AdaRSI在未见组合任务上VLA 4.6% → 加 Harness 9.9% → 完整系统 13.8%DynaHarness冻结策略 17.5% → 完整系统 75.2%CarryOn违规率 52.6% → 6.1%负面证据123 轮智能体技能发现中局部改动反复通过测试却始终没完成目标任务。如图所示基于证据的干预措施选择这些结果都不能直接当作递归增益的证据。八、基准与评估协议第 7 节梳理了 RoboCasa365、LIBERO / LIBERO-PRO、VLABench、ALFWorld、EAI、EmbodiedBench、BEHAVIOR-1K、RMBench、RoboMME、EWMBench、WorldArena 等并指出每个基准需要披露的条件。数据分成六种角色D_pre预训练、D_seed初始适配、D_imp改进经验、D_val候选接受、D_test最终评估、D_transfer元流程迁移。资源预算用向量记录token、GPU 小时、物理交互、复位时间、人工投入。元增益的操作化定义Eq. 14新改进器 U⁺ 和基线 U⁻ 从同一个系统和同一批经验出发、预算相同用独立评估器在未参与选择的任务上比较得分差。best-so-far 曲线上升不能区分改进器更强和搜索更多 / 初始化更好。如图所示修正的改进器比较九、开放问题第 8 节因果失败归因故障注入、匹配状态重试、组件替换可靠反馈与演化中的评估器同源模型既提议又评判会导致误差相关需要外部锚点物理复位与安全继承报告复位成功率、耗时、状态漂移和人工介入经验覆盖与能力保持提出回归指标 REq. 15防止新能力掩盖旧能力的退化世界模型共演化的现实锚定防止只是适应了模拟器的误差可迁移的改进器与停止决策何时停止、何时切换干预层跨本体迁移十、结论具身自我改进的对象已经从单一策略扩展到知识、技能、Harness、数据和世界模型。现有工作证明了组件级和系统级的收益但迭代次数、冻结骨干或更高的最终成功率本身都不能证明递归增益。下一步的关键是可靠归因、完整的物理成本核算、能力保持以及独立、匹配条件下的改进器对比。一句话概括这篇综述主要贡献的不是新方法而是一套严格的什么才算具身 RSI、需要什么证据的分析框架和评估规范。