Agent 评测体系一、体系架构Agent 评测 三层分类评什么 × 一条流程怎么评 三层分类① 端到端 → ② 轨迹 → ③ 表现 一条流程① 定数据集 → ② 定标准 → ③ 跑测试 → ④ 看指标归因 → ⑤ 持续迭代和 RAG 评测的关系RAG 评测评的是一问一答Agent 评测评的是一条多步执行的轨迹。所以 Agent 评测要回答三个问题——做成了没、怎么做的、代价多大对应三层分类而不管评哪一层流程都是同一条五步。三层分类和流程是正交的任何一次具体评测都落在某一层 × 某一步的交叉点上。二、详解2.1 三层分类评什么层官方术语评什么核心问题①端到端评测End-to-End最终结果任务完成了吗②轨迹评测Trajectory执行过程路径对吗、工具用对没③表现评测Performance运行时指标快吗、贵吗、稳吗三层不是并列的三张卷子而是一个诊断栈先看结果有没有问题 → 结果有问题再看路径 → 路径有问题再定位到具体组件。2.1.1 端到端评测是什么把整个 Agent 当黑盒只看输入 → 最终输出。核心指标Task Completion任务完成率、答案正确性 / 可用性。特点全自动、成本低只回答成没成不回答为什么。局限完成率从 68% 掉到 55%它能拉响警报但说不清哪一步坏了。典型做法给 Agent 一个任务跑完看终态对不对如 τ-bench 比对会话结束时的数据库状态与目标状态。2.1.2 轨迹评测是什么评 Agent 的完整决策与行动序列——中间每一步。为什么需要端到端只知道没做成轨迹才能回答哪一步搞砸了。评三个方面维度指标含义规划Plan Quality / Plan Adherence计划合理吗 / 按计划走了吗步骤Step Efficiency有没有绕路、无效步骤工具调用Tool Correctness工具选对没Argument Correctness参数传对没注意区分trace是采集到的执行记录trajectory是 trace 里那串有序动作序列评测的对象。2.1.3 表现评测是什么评非功能性指标——回答答对了但代价可接受吗。三类效率延迟P99 / 首字、步数、Token 成本稳定成功率、pass^k同一任务跑 k 次全成功的概率安全越权、误操作、数据泄露原则答对但慢且贵在生产里同样算失败。2.2 生产里看哪几个指标重点DeepEval 有 50 指标但生产不是全看。实际盯的就6 个#指标层看什么①Task Completion端到端总账——任务成没成②Plan Adherence含 Plan Quality轨迹跑偏没——按计划走了吗③Tool Correctness轨迹工具选对没④Argument Correctness轨迹参数传对没✳️⑤Token 成本 / 延迟表现贵不贵、慢不慢⑥pass^k表现稳不稳——同任务跑 k 次全成的概率✳️ ③④必须成对看工具选对但参数传错 一样废。场景加看默认不开触发条件加看带 RAGFaithfulness、Answer Relevancy涉用户隐私PII Leakage有危险操作转账/删库Tool Permission、Misuse对 C 端Toxicity、Bias⚠️ 核心原则指标是渐进的别一上来全开。顺序先只上 Task Completion看总账→ 有问题再加轨迹指标定位哪步坏→ 再按业务挂场景指标。依据先做 error analysis再决定写哪些指标美团/Anthropic 共识。反例50 个指标全开 →成本爆炸、噪音淹没信号、没人看。2.3 一条流程怎么评不管评哪一层流程都是同一条① 定数据集 → ② 定标准 → ③ 跑测试 → ④ 看指标归因 → ⑤ 持续迭代① 定数据集一个用例 三元组问题 参考答案 评价标准。按用途分三类类型英文作用通过率黄金集golden set人工精标定义好的下限起步 20~50 条回归集regression set以前能做对的防止回退要求 ≈100%挑战集capability set专攻当前难题标定能力边界从低起步② 定标准标准按判得清不清分三类对应三种判据判据适用怎么判特点程序判断清晰的指标工具名、参数、格式、终态状态代码确定性断言EQ / CONTAINS / REGEX快、稳、可复现大模型判断模糊的指标答案质量、规划合理性、沟通质量rubric评分细则尽量二元化是/否/未知懂语义但需与人工校准人工判断需要校准时人评结构化打分金标准贵、慢分工原则能确定性就确定性——清晰的就用程序模糊的才上 rubric人工用来校准。① 程序判断清晰指标判什么工具名 / 参数 / 格式 / 环境终态。例ToolCorrectness→ 实际工具序列 期望序列 1.0 通过。② 大模型判断模糊指标 → rubric判什么无唯一正确答案的质量维度。关键rubric 二元化—— 把模糊概念拆成一组是 / 否 / 未知的具体检查项。例AnswerCorrectness→ rubric0-2 错 / 3-6 大体对 / 7-9 漏细节 / 10 全对→ 阈值 ≥ 7。前提人机一致率达标机器评测与人工评测一致否则只能算机器标注不算自动化评测。③ 人工判断用途校准前面两者尤其校准大模型 rubric。原则1 个独裁者好过 10 个民主者——统一口径由一个人拍板。③ 跑测试按在哪跑、有没有参考答案分两种场景在哪跑有参考答案吗用途离线评测offline评测集上有reference-based上线前回归、对比版本在线评测online生产真实流量无reference-free发现未知问题离线的实现跑评测集含回放replay —— 用历史 trace 重放验证新版本。在线的实现影子模式上线前用真实流量兜底、AB上线后确认业务价值、巡检日常盯基本盘。一句话离线守已知在线发现未知。④ 看指标归因看指标端到端看Task Completion轨迹看Tool Correctness / Plan Adherence表现看延迟 / 成本 / 稳定/安全。归因把失败的trace归类成failure taxonomy定位哪一层的哪一步坏了。原则先做 error analysis再决定写哪些指标。关键认知离线只是门控线上 AB 看业务指标才是黄金标准。⑤ 持续迭代把线上失败的 case回灌进评测集形成闭环——评测集越滚越大门槛越卡越准。三、上线与迭代流程跑通后评测要接进研发流程才有约束力。放行标准跟上一版比① 优化项 ≥ 上一版且统计显著② 其余指标下降需在容差内如 ±2%③ 红线指标延迟、安全不超预算 → 一票否决灰度发布影子流量 → 小流量 AB → 放量 → 全量。线上监控系统指标延迟 / 成本、质量指标在线 judge、漂移检测query 分布。回滚 / 迭代掉指标立即回滚bad case 回流补评测集形成闭环。 
长河君 · 2026/10/18 7:49:30 · 阅读 1.2k 如何构建Agent 评测体系？
Agent 评测体系一、体系架构Agent 评测 三层分类评什么 × 一条流程怎么评 三层分类① 端到端 → ② 轨迹 → ③ 表现 一条流程① 定数据集 → ② 定标准 → ③ 跑测试 → ④ 看指标归因 → ⑤ 持续迭代和 RAG 评测的关系RAG 评测评的是一问一答Agent 评测评的是一条多步执行的轨迹。所以 Agent 评测要回答三个问题——做成了没、怎么做的、代价多大对应三层分类而不管评哪一层流程都是同一条五步。三层分类和流程是正交的任何一次具体评测都落在某一层 × 某一步的交叉点上。二、详解2.1 三层分类评什么层官方术语评什么核心问题①端到端评测End-to-End最终结果任务完成了吗②轨迹评测Trajectory执行过程路径对吗、工具用对没③表现评测Performance运行时指标快吗、贵吗、稳吗三层不是并列的三张卷子而是一个诊断栈先看结果有没有问题 → 结果有问题再看路径 → 路径有问题再定位到具体组件。2.1.1 端到端评测是什么把整个 Agent 当黑盒只看输入 → 最终输出。核心指标Task Completion任务完成率、答案正确性 / 可用性。特点全自动、成本低只回答成没成不回答为什么。局限完成率从 68% 掉到 55%它能拉响警报但说不清哪一步坏了。典型做法给 Agent 一个任务跑完看终态对不对如 τ-bench 比对会话结束时的数据库状态与目标状态。2.1.2 轨迹评测是什么评 Agent 的完整决策与行动序列——中间每一步。为什么需要端到端只知道没做成轨迹才能回答哪一步搞砸了。评三个方面维度指标含义规划Plan Quality / Plan Adherence计划合理吗 / 按计划走了吗步骤Step Efficiency有没有绕路、无效步骤工具调用Tool Correctness工具选对没Argument Correctness参数传对没注意区分trace是采集到的执行记录trajectory是 trace 里那串有序动作序列评测的对象。2.1.3 表现评测是什么评非功能性指标——回答答对了但代价可接受吗。三类效率延迟P99 / 首字、步数、Token 成本稳定成功率、pass^k同一任务跑 k 次全成功的概率安全越权、误操作、数据泄露原则答对但慢且贵在生产里同样算失败。2.2 生产里看哪几个指标重点DeepEval 有 50 指标但生产不是全看。实际盯的就6 个#指标层看什么①Task Completion端到端总账——任务成没成②Plan Adherence含 Plan Quality轨迹跑偏没——按计划走了吗③Tool Correctness轨迹工具选对没④Argument Correctness轨迹参数传对没✳️⑤Token 成本 / 延迟表现贵不贵、慢不慢⑥pass^k表现稳不稳——同任务跑 k 次全成的概率✳️ ③④必须成对看工具选对但参数传错 一样废。场景加看默认不开触发条件加看带 RAGFaithfulness、Answer Relevancy涉用户隐私PII Leakage有危险操作转账/删库Tool Permission、Misuse对 C 端Toxicity、Bias⚠️ 核心原则指标是渐进的别一上来全开。顺序先只上 Task Completion看总账→ 有问题再加轨迹指标定位哪步坏→ 再按业务挂场景指标。依据先做 error analysis再决定写哪些指标美团/Anthropic 共识。反例50 个指标全开 →成本爆炸、噪音淹没信号、没人看。2.3 一条流程怎么评不管评哪一层流程都是同一条① 定数据集 → ② 定标准 → ③ 跑测试 → ④ 看指标归因 → ⑤ 持续迭代① 定数据集一个用例 三元组问题 参考答案 评价标准。按用途分三类类型英文作用通过率黄金集golden set人工精标定义好的下限起步 20~50 条回归集regression set以前能做对的防止回退要求 ≈100%挑战集capability set专攻当前难题标定能力边界从低起步② 定标准标准按判得清不清分三类对应三种判据判据适用怎么判特点程序判断清晰的指标工具名、参数、格式、终态状态代码确定性断言EQ / CONTAINS / REGEX快、稳、可复现大模型判断模糊的指标答案质量、规划合理性、沟通质量rubric评分细则尽量二元化是/否/未知懂语义但需与人工校准人工判断需要校准时人评结构化打分金标准贵、慢分工原则能确定性就确定性——清晰的就用程序模糊的才上 rubric人工用来校准。① 程序判断清晰指标判什么工具名 / 参数 / 格式 / 环境终态。例ToolCorrectness→ 实际工具序列 期望序列 1.0 通过。② 大模型判断模糊指标 → rubric判什么无唯一正确答案的质量维度。关键rubric 二元化—— 把模糊概念拆成一组是 / 否 / 未知的具体检查项。例AnswerCorrectness→ rubric0-2 错 / 3-6 大体对 / 7-9 漏细节 / 10 全对→ 阈值 ≥ 7。前提人机一致率达标机器评测与人工评测一致否则只能算机器标注不算自动化评测。③ 人工判断用途校准前面两者尤其校准大模型 rubric。原则1 个独裁者好过 10 个民主者——统一口径由一个人拍板。③ 跑测试按在哪跑、有没有参考答案分两种场景在哪跑有参考答案吗用途离线评测offline评测集上有reference-based上线前回归、对比版本在线评测online生产真实流量无reference-free发现未知问题离线的实现跑评测集含回放replay —— 用历史 trace 重放验证新版本。在线的实现影子模式上线前用真实流量兜底、AB上线后确认业务价值、巡检日常盯基本盘。一句话离线守已知在线发现未知。④ 看指标归因看指标端到端看Task Completion轨迹看Tool Correctness / Plan Adherence表现看延迟 / 成本 / 稳定/安全。归因把失败的trace归类成failure taxonomy定位哪一层的哪一步坏了。原则先做 error analysis再决定写哪些指标。关键认知离线只是门控线上 AB 看业务指标才是黄金标准。⑤ 持续迭代把线上失败的 case回灌进评测集形成闭环——评测集越滚越大门槛越卡越准。三、上线与迭代流程跑通后评测要接进研发流程才有约束力。放行标准跟上一版比① 优化项 ≥ 上一版且统计显著② 其余指标下降需在容差内如 ±2%③ 红线指标延迟、安全不超预算 → 一票否决灰度发布影子流量 → 小流量 AB → 放量 → 全量。线上监控系统指标延迟 / 成本、质量指标在线 judge、漂移检测query 分布。回滚 / 迭代掉指标立即回滚bad case 回流补评测集形成闭环。