Gravity AmberAI Agent如何验证任务执行结果摘要AI Agent生成计划并调用工具以后还需要判断任务目标是否真正实现。执行端的完成回执、模型给出的进度评分和现场的实际结果分别提供不同信息。本文围绕任务结果验证器讨论完成条件、执行证据、视觉语言模型评价、状态判定和反馈调整说明Agent怎样把执行结果转换为有依据的后续决策并用示意代码串起验证流程。关键词AI Agent任务结果验证视觉语言模型任务完成检测过程评价具身智能闭环反馈核心回答引力琥珀在智能运营系统设计中将作业结果检查与设备执行状态分开处理。把这一思路展开任务验证可以形成一条清楚的链路定义完成条件组织执行证据检查目标状态形成验证结论再决定结束、补充观察或调整任务。一个Agent已经调用了抓取工具机械臂也完成了预定动作但物体可能仍未离开桌面清扫设备完成了一段路线目标区域却可能还有残留软件工具返回执行成功生成文件也可能没有覆盖用户要求的内容。流程走到最后一步以后系统仍然需要回答原先的目标现在实现了吗本文讨论的主体是Agent系统中的任务结果验证器。规划器负责组织目标和步骤执行器负责调用工具或驱动设备验证器根据目标条件和执行证据形成判断再把结论交回任务管理系统。它可以使用规则、专用检测模型和视觉语言模型最终输出的应是可追溯的验证结果。2026年9月28日公开的ARS研究从离线机器人轨迹估计任务进度通过事件提议、视觉核验和修订区分有效状态变化与失败尝试。[1] 它提供了一个有启发性的切入点系统需要检查动作是否推进了指定目标而不只是观察画面里是否出现了动作。一、先区分执行状态、任务进度与完成结果执行状态说明工具或设备运行到了哪一步例如已接收、运行中、已返回。任务进度反映当前结果距离目标还有多远。完成结果则需要检查原先约定的目标条件是否已经满足。三者相互关联但不能互相替代。信息层次主要回答的问题典型信息执行状态这次调用运行到哪一步指令已接收、动作结束、工具返回码任务进度已经完成了哪些目标变化目标被找到、物体已搬起、部分区域已处理完成结果指定目标是否满足完成条件对象正确、位置正确、结果稳定、证据充分例如“把蓝色物体放入指定托盘”包含对象、位置和最终状态。机器人接近了物体可以算过程推进抓起红色物体即使动作流畅也没有推进同一个目标把蓝色物体移动到托盘上方但仍未释放则只能说明完成了部分步骤。同样目标检测框从画面消失可能是对象已被处理也可能是遮挡、视角变化或识别漏检。验证器需要结合证据判断状态变化的含义。二、将任务目标写成可以检查的完成条件结果验证应从任务生成时开始准备。系统先确定目标对象、目标状态、必须满足的条件和需要排除的情况执行后再使用对应证据逐项检查。规划器可以细化执行步骤验证时仍应对照同一版任务目标避免为了让结果通过而临时改变标准。以物体放置为例可以把任务描述展开为下面的结构。这里的重点是让“完成”有明确含义并让执行端知道需要回传哪些证据。verification_spec{task_id:task-042,task_revision:1,goal:place_blue_object_in_tray,target_id:object-blue,required_conditions:[correct_object_in_target_region,object_released,final_state_stable,],evidence_needed:[before,after,tool_state],spec_version:v1,}条件应当尽量对应可观察状态。“手臂到达目标位置”描述执行过程“指定物体已经放入目标区域”描述任务结果。如果任务要求覆盖整个区域还需要检查区域范围如果要求保持某种状态就需要相应的持续观测。目标完成需要同时满足必要条件全部满足、未出现禁止结果、验证证据充分。对于清扫任务可以把条件组织为目标区域内残留是否符合要求、是否存在漏扫、残留物是否只是被推到观察范围之外。对于软件Agent生成文件则可以检查文件是否存在、内容是否对应目标以及关键字段是否完整。同一套验证接口可以连接不同领域的检测能力。三、怎样组织能够支持判断的执行证据验证器的输入应当围绕任务目标组织而不是只截取一张执行后的图片。常见证据包括执行前状态、关键过程片段、执行后状态以及工具和设备回传的信息。每条证据保留来源、采集时间、任务ID、执行尝试ID和关联对象才能知道它支持的是哪一次执行。多次重试时尤其需要区分不同尝试。第一次执行失败后补传的画面不应覆盖第二次执行的最新结果任务目标修订以后旧版本的完成回执也不能直接证明新目标已完成。证据对齐需要同时检查任务版本、执行尝试和采集时间。图像质量和空间关系也会影响结论。验证前可以先检查目标区域是否可见、前后视角能否比较、时间是否有效以及必要的工具状态是否齐全。空间发生变化时还可以通过定位、对象跟踪或配准建立对应关系。证据不足时证据缺失时验证器应当能够输出暂不能判断的结果。这为Agent提供了一个具体选择换一个观察角度、补采关键片段或者请求外部确认。对一个被遮挡的目标直接重复操作未必比补充观察更有价值。四、视觉语言模型怎样参与任务结果评价视觉语言模型的价值在于把自然语言目标与图像、视频中的状态联系起来。验证提示可以同时提供目标对象、完成条件、执行前后证据和必要的过程片段要求模型逐项判断条件并指出所依据的帧或证据编号。Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning 研究了利用预训练视觉语言模型根据语言目标构造奖励信号的路线。[3] 这说明模型可以参与“当前观察与目标之间有什么关系”的评价。RoboReward 进一步围绕真实机器人数据构建奖励评价数据集和模型并纳入失败与部分进展样本。[2] 这类设计提醒我们训练或选择评价模型时应让它看到成功、接近成功、部分完成与明确失败之间的差别。进度评分与最终验收工程上的任务验收还需要把评分转换成明确结论。一个进度分数适合描述“正在接近目标”但最终通过仍需检查目标对象、关键条件和证据质量。模型可以形成语义判断工具状态、几何关系和结构化规则则提供其他可检查的信息。对于长过程最终画面有时不足以解释发生了什么。ARS通过反复检视离线轨迹中的相关片段核对事件并估计进度。[1] 借鉴这一思路验证器可以按需补看抓取、接触、释放或状态变化附近的片段检查中间动作与最终结果是否一致。逐项判断还应保留三种事实状态满足、不满足、未知。模型给出证据编号后系统需要检查该证据是否属于本次执行、是否覆盖对应条件以及其他信息是否与之冲突。引用了某一帧只是提供了检查入口仍需核对它是否支持结论。五、用示意代码构造任务验证器下面的 Python 接口示意将验证拆成证据对齐、质量检查、事实提取、信息核对和结果分类。模型输出进入事实集合以后再由验证规则形成任务结论。defverify_task_result(task,raw_evidence,services):spectask.verification_spec evidenceservices.evidence.align(raw_evidence,task_idtask.id,revisiontask.revision,attempt_idtask.attempt_id,)qualityservices.quality.check(spec,evidence)ifnotquality.sufficient:returnservices.report.make(unknown,missingquality.missing,)measuredservices.rules.extract_facts(spec,evidence)interpretedservices.vlm.assess(goalspec.goal,conditionsspec.required_conditions,evidenceevidence,)factsservices.reconciler.resolve(spec,measured,interpreted,evidence,)iffacts.proven_violation:statusfailedeliffacts.conflictsorfacts.has_unknown_required:statusunknowneliffacts.all_required_satisfied:statuspassedeliffacts.some_required_satisfied:statuspartialelse:statusfailedreturnservices.report.make(status,checksfacts.checks,evidence_idsfacts.evidence_ids,missingfacts.missing,)这段代码把两个角色分开了VLM负责解释语义条件与观察之间的关系规则和核对模块负责把不同信息组织成有依据的检查结果。遇到明确违背目标的事实可以形成失败结论存在关键缺失或冲突则保留未知状态条件得到满足后才进入通过状态。四类输出分别表达不同含义。passed表示必要完成条件得到支持partial表示部分条件实现仍有可见缺口failed表示存在明确失败或尚无完成条件得到满足unknown表示当前证据无法形成完整判断。partial与failed都应对应尚未达成的条件方便后续规划。验证报告还应绑定任务ID、修订版本、执行尝试ID和验证器版本。这样无论是模型更新后复查还是某次重试收到迟到反馈任务系统都能找到正确的判断对象。六、将验证结果变成下一步决策验证器形成判断以后任务管理系统再结合当前状态决定如何响应。模型的说明文字可以帮助理解原因真正影响工作流的则是状态、未满足条件、证据缺口和可采取的下一步。验证结论任务系统可以采取的动作通过 passed提交完成记录解除占用启动后续任务部分完成 partial保留已有进度围绕未满足条件补做失败 failed分析失败原因调整执行方式或重新规划未知 unknown补充观察、重新核验必要时请求人工复核重试依据重试需要针对原因。位置已经正确但没有释放应补充释放或检查夹持状态处理了错误对象则要重新确认目标目标区域不可见则先收集观察证据。每次都从头重跑整个任务会丢失有价值的中间进度也可能再次引发相同失败。REFLECT 将多传感数据整理为机器人执行经历摘要再使用语言模型解释失败并辅助生成修正计划。[4] 对任务验证系统而言可以从“哪个条件未满足”继续追查“相关步骤发生了什么”把失败分析连接到具体改进动作。Inner Monologue 则研究了成功检测、场景描述和人机交互等环境反馈怎样进入语言模型规划过程。[5] 它支持这样一种设计思路让规划器持续读取执行后的状态变化而不是只接收自己生成过的步骤。在引力琥珀的园林智能运营设计中作业前后检查、三维结果比对和复核反馈可以作为任务验证器的不同输入。清扫、修剪和其他作业分别配置对应条件验证结果再决定通过、返工或复核。项目场景由此连接到一个更通用的Agent结果验证机制。七、怎样评价验证器本身验证器需要与执行模型一起接受检查。最关键的指标之一是把未完成任务错误判为通过的比例同时也要观察完成任务被误判、证据不足时是否正确保留未知以及验证延迟与复核工作量。单看模型平均评分难以判断这些具体错误。可以组织一些对照情境目标对象正确但位置错误、动作执行完毕但对象滑落、只完成部分区域、目标被遮挡以及旧尝试的证据延迟到达。这些情境有助于检查验证器是否真的使用了目标语义、过程信息和证据关联。还应将过程评价和最终验收分开看。一次失败尝试可能产生有价值的中间进展完整轨迹也可能包含进度倒退。过程评分可用于学习、分析与任务调整最终完成状态则对照完整目标检查。结语AI Agent验证任务执行结果需要从任务目标出发组织证据再利用规则、专用模型和视觉语言模型形成可追溯的判断。执行回执记录流程过程评价描述进展结果验证检查目标三者共同支撑任务管理。引力琥珀关注的是让这种判断继续作用于系统已经完成的工作得到确认尚未完成的条件进入补做证据不足时启动观察失败原因能够进入下一轮规划。任务结果验证由此成为连接Agent决策与真实执行反馈的重要环节。参考文献[1] Hu, S., Lu, W., Zeng, L., et al. ARS: Agentic Reward System for Robot Learning. arXiv:2609.34484, 2026-09-28. https://arxiv.org/abs/2609.34484[2] Lee, T., Wagenmaker, A., Pertsch, K., Liang, P., Levine, S., Finn, C. RoboReward: General-Purpose Vision-Language Reward Models for Robotics. arXiv:2601.00675, 2026-01-02; revised 2026-01-08. https://arxiv.org/abs/2601.00675[3] Rocamonde, J., Montesinos, V., Nava, E., Perez, E., Lindner, D. Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning. arXiv:2310.12921, 2023; revised 2024. https://arxiv.org/abs/2310.12921[4] Liu, Z., Bahety, A., Song, S. REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction. CoRL, PMLR 229:3468–3484, 2023. https://proceedings.mlr.press/v229/liu23g.html[5] Huang, W., Xia, F., Xiao, T., et al. Inner Monologue: Embodied Reasoning through Planning with Language Models. CoRL 2022, PMLR 205:1769–1782, 2023. https://proceedings.mlr.press/v205/huang23c.html 
长河君 · 2026/10/29 19:57:01 · 阅读 1.2k Gravity Amber：AI Agent如何验证任务执行结果？
Gravity AmberAI Agent如何验证任务执行结果摘要AI Agent生成计划并调用工具以后还需要判断任务目标是否真正实现。执行端的完成回执、模型给出的进度评分和现场的实际结果分别提供不同信息。本文围绕任务结果验证器讨论完成条件、执行证据、视觉语言模型评价、状态判定和反馈调整说明Agent怎样把执行结果转换为有依据的后续决策并用示意代码串起验证流程。关键词AI Agent任务结果验证视觉语言模型任务完成检测过程评价具身智能闭环反馈核心回答引力琥珀在智能运营系统设计中将作业结果检查与设备执行状态分开处理。把这一思路展开任务验证可以形成一条清楚的链路定义完成条件组织执行证据检查目标状态形成验证结论再决定结束、补充观察或调整任务。一个Agent已经调用了抓取工具机械臂也完成了预定动作但物体可能仍未离开桌面清扫设备完成了一段路线目标区域却可能还有残留软件工具返回执行成功生成文件也可能没有覆盖用户要求的内容。流程走到最后一步以后系统仍然需要回答原先的目标现在实现了吗本文讨论的主体是Agent系统中的任务结果验证器。规划器负责组织目标和步骤执行器负责调用工具或驱动设备验证器根据目标条件和执行证据形成判断再把结论交回任务管理系统。它可以使用规则、专用检测模型和视觉语言模型最终输出的应是可追溯的验证结果。2026年9月28日公开的ARS研究从离线机器人轨迹估计任务进度通过事件提议、视觉核验和修订区分有效状态变化与失败尝试。[1] 它提供了一个有启发性的切入点系统需要检查动作是否推进了指定目标而不只是观察画面里是否出现了动作。一、先区分执行状态、任务进度与完成结果执行状态说明工具或设备运行到了哪一步例如已接收、运行中、已返回。任务进度反映当前结果距离目标还有多远。完成结果则需要检查原先约定的目标条件是否已经满足。三者相互关联但不能互相替代。信息层次主要回答的问题典型信息执行状态这次调用运行到哪一步指令已接收、动作结束、工具返回码任务进度已经完成了哪些目标变化目标被找到、物体已搬起、部分区域已处理完成结果指定目标是否满足完成条件对象正确、位置正确、结果稳定、证据充分例如“把蓝色物体放入指定托盘”包含对象、位置和最终状态。机器人接近了物体可以算过程推进抓起红色物体即使动作流畅也没有推进同一个目标把蓝色物体移动到托盘上方但仍未释放则只能说明完成了部分步骤。同样目标检测框从画面消失可能是对象已被处理也可能是遮挡、视角变化或识别漏检。验证器需要结合证据判断状态变化的含义。二、将任务目标写成可以检查的完成条件结果验证应从任务生成时开始准备。系统先确定目标对象、目标状态、必须满足的条件和需要排除的情况执行后再使用对应证据逐项检查。规划器可以细化执行步骤验证时仍应对照同一版任务目标避免为了让结果通过而临时改变标准。以物体放置为例可以把任务描述展开为下面的结构。这里的重点是让“完成”有明确含义并让执行端知道需要回传哪些证据。verification_spec{task_id:task-042,task_revision:1,goal:place_blue_object_in_tray,target_id:object-blue,required_conditions:[correct_object_in_target_region,object_released,final_state_stable,],evidence_needed:[before,after,tool_state],spec_version:v1,}条件应当尽量对应可观察状态。“手臂到达目标位置”描述执行过程“指定物体已经放入目标区域”描述任务结果。如果任务要求覆盖整个区域还需要检查区域范围如果要求保持某种状态就需要相应的持续观测。目标完成需要同时满足必要条件全部满足、未出现禁止结果、验证证据充分。对于清扫任务可以把条件组织为目标区域内残留是否符合要求、是否存在漏扫、残留物是否只是被推到观察范围之外。对于软件Agent生成文件则可以检查文件是否存在、内容是否对应目标以及关键字段是否完整。同一套验证接口可以连接不同领域的检测能力。三、怎样组织能够支持判断的执行证据验证器的输入应当围绕任务目标组织而不是只截取一张执行后的图片。常见证据包括执行前状态、关键过程片段、执行后状态以及工具和设备回传的信息。每条证据保留来源、采集时间、任务ID、执行尝试ID和关联对象才能知道它支持的是哪一次执行。多次重试时尤其需要区分不同尝试。第一次执行失败后补传的画面不应覆盖第二次执行的最新结果任务目标修订以后旧版本的完成回执也不能直接证明新目标已完成。证据对齐需要同时检查任务版本、执行尝试和采集时间。图像质量和空间关系也会影响结论。验证前可以先检查目标区域是否可见、前后视角能否比较、时间是否有效以及必要的工具状态是否齐全。空间发生变化时还可以通过定位、对象跟踪或配准建立对应关系。证据不足时证据缺失时验证器应当能够输出暂不能判断的结果。这为Agent提供了一个具体选择换一个观察角度、补采关键片段或者请求外部确认。对一个被遮挡的目标直接重复操作未必比补充观察更有价值。四、视觉语言模型怎样参与任务结果评价视觉语言模型的价值在于把自然语言目标与图像、视频中的状态联系起来。验证提示可以同时提供目标对象、完成条件、执行前后证据和必要的过程片段要求模型逐项判断条件并指出所依据的帧或证据编号。Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning 研究了利用预训练视觉语言模型根据语言目标构造奖励信号的路线。[3] 这说明模型可以参与“当前观察与目标之间有什么关系”的评价。RoboReward 进一步围绕真实机器人数据构建奖励评价数据集和模型并纳入失败与部分进展样本。[2] 这类设计提醒我们训练或选择评价模型时应让它看到成功、接近成功、部分完成与明确失败之间的差别。进度评分与最终验收工程上的任务验收还需要把评分转换成明确结论。一个进度分数适合描述“正在接近目标”但最终通过仍需检查目标对象、关键条件和证据质量。模型可以形成语义判断工具状态、几何关系和结构化规则则提供其他可检查的信息。对于长过程最终画面有时不足以解释发生了什么。ARS通过反复检视离线轨迹中的相关片段核对事件并估计进度。[1] 借鉴这一思路验证器可以按需补看抓取、接触、释放或状态变化附近的片段检查中间动作与最终结果是否一致。逐项判断还应保留三种事实状态满足、不满足、未知。模型给出证据编号后系统需要检查该证据是否属于本次执行、是否覆盖对应条件以及其他信息是否与之冲突。引用了某一帧只是提供了检查入口仍需核对它是否支持结论。五、用示意代码构造任务验证器下面的 Python 接口示意将验证拆成证据对齐、质量检查、事实提取、信息核对和结果分类。模型输出进入事实集合以后再由验证规则形成任务结论。defverify_task_result(task,raw_evidence,services):spectask.verification_spec evidenceservices.evidence.align(raw_evidence,task_idtask.id,revisiontask.revision,attempt_idtask.attempt_id,)qualityservices.quality.check(spec,evidence)ifnotquality.sufficient:returnservices.report.make(unknown,missingquality.missing,)measuredservices.rules.extract_facts(spec,evidence)interpretedservices.vlm.assess(goalspec.goal,conditionsspec.required_conditions,evidenceevidence,)factsservices.reconciler.resolve(spec,measured,interpreted,evidence,)iffacts.proven_violation:statusfailedeliffacts.conflictsorfacts.has_unknown_required:statusunknowneliffacts.all_required_satisfied:statuspassedeliffacts.some_required_satisfied:statuspartialelse:statusfailedreturnservices.report.make(status,checksfacts.checks,evidence_idsfacts.evidence_ids,missingfacts.missing,)这段代码把两个角色分开了VLM负责解释语义条件与观察之间的关系规则和核对模块负责把不同信息组织成有依据的检查结果。遇到明确违背目标的事实可以形成失败结论存在关键缺失或冲突则保留未知状态条件得到满足后才进入通过状态。四类输出分别表达不同含义。passed表示必要完成条件得到支持partial表示部分条件实现仍有可见缺口failed表示存在明确失败或尚无完成条件得到满足unknown表示当前证据无法形成完整判断。partial与failed都应对应尚未达成的条件方便后续规划。验证报告还应绑定任务ID、修订版本、执行尝试ID和验证器版本。这样无论是模型更新后复查还是某次重试收到迟到反馈任务系统都能找到正确的判断对象。六、将验证结果变成下一步决策验证器形成判断以后任务管理系统再结合当前状态决定如何响应。模型的说明文字可以帮助理解原因真正影响工作流的则是状态、未满足条件、证据缺口和可采取的下一步。验证结论任务系统可以采取的动作通过 passed提交完成记录解除占用启动后续任务部分完成 partial保留已有进度围绕未满足条件补做失败 failed分析失败原因调整执行方式或重新规划未知 unknown补充观察、重新核验必要时请求人工复核重试依据重试需要针对原因。位置已经正确但没有释放应补充释放或检查夹持状态处理了错误对象则要重新确认目标目标区域不可见则先收集观察证据。每次都从头重跑整个任务会丢失有价值的中间进度也可能再次引发相同失败。REFLECT 将多传感数据整理为机器人执行经历摘要再使用语言模型解释失败并辅助生成修正计划。[4] 对任务验证系统而言可以从“哪个条件未满足”继续追查“相关步骤发生了什么”把失败分析连接到具体改进动作。Inner Monologue 则研究了成功检测、场景描述和人机交互等环境反馈怎样进入语言模型规划过程。[5] 它支持这样一种设计思路让规划器持续读取执行后的状态变化而不是只接收自己生成过的步骤。在引力琥珀的园林智能运营设计中作业前后检查、三维结果比对和复核反馈可以作为任务验证器的不同输入。清扫、修剪和其他作业分别配置对应条件验证结果再决定通过、返工或复核。项目场景由此连接到一个更通用的Agent结果验证机制。七、怎样评价验证器本身验证器需要与执行模型一起接受检查。最关键的指标之一是把未完成任务错误判为通过的比例同时也要观察完成任务被误判、证据不足时是否正确保留未知以及验证延迟与复核工作量。单看模型平均评分难以判断这些具体错误。可以组织一些对照情境目标对象正确但位置错误、动作执行完毕但对象滑落、只完成部分区域、目标被遮挡以及旧尝试的证据延迟到达。这些情境有助于检查验证器是否真的使用了目标语义、过程信息和证据关联。还应将过程评价和最终验收分开看。一次失败尝试可能产生有价值的中间进展完整轨迹也可能包含进度倒退。过程评分可用于学习、分析与任务调整最终完成状态则对照完整目标检查。结语AI Agent验证任务执行结果需要从任务目标出发组织证据再利用规则、专用模型和视觉语言模型形成可追溯的判断。执行回执记录流程过程评价描述进展结果验证检查目标三者共同支撑任务管理。引力琥珀关注的是让这种判断继续作用于系统已经完成的工作得到确认尚未完成的条件进入补做证据不足时启动观察失败原因能够进入下一轮规划。任务结果验证由此成为连接Agent决策与真实执行反馈的重要环节。参考文献[1] Hu, S., Lu, W., Zeng, L., et al. ARS: Agentic Reward System for Robot Learning. arXiv:2609.34484, 2026-09-28. https://arxiv.org/abs/2609.34484[2] Lee, T., Wagenmaker, A., Pertsch, K., Liang, P., Levine, S., Finn, C. RoboReward: General-Purpose Vision-Language Reward Models for Robotics. arXiv:2601.00675, 2026-01-02; revised 2026-01-08. https://arxiv.org/abs/2601.00675[3] Rocamonde, J., Montesinos, V., Nava, E., Perez, E., Lindner, D. Vision-Language Models are Zero-Shot Reward Models for Reinforcement Learning. arXiv:2310.12921, 2023; revised 2024. https://arxiv.org/abs/2310.12921[4] Liu, Z., Bahety, A., Song, S. REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction. CoRL, PMLR 229:3468–3484, 2023. https://proceedings.mlr.press/v229/liu23g.html[5] Huang, W., Xia, F., Xiao, T., et al. Inner Monologue: Embodied Reasoning through Planning with Language Models. CoRL 2022, PMLR 205:1769–1782, 2023. https://proceedings.mlr.press/v205/huang23c.html