摘要Weave Router 2.0 是面向 Coding Agent 场景设计的多模型调度路由层核心目标并非简单的模型负载均衡而是基于任务复杂度评估、缓存感知切换机制为每一次编程智能体请求自动选择满足任务能力约束前提下成本最优的大模型。该路由系统打破模型生态壁垒支持在 Codex 环境调用 Claude 系列模型同时在 Claude Code 环境调用 GPT 系列模型由路由层完成请求转发、配额探测、模型选择与结果回传。在 Terminal-Bench 4.0、SWE-Atlas 两大代码基准测试中Weave Router 2.0 调度后的综合性能对标 GPT-6 Astra推理成本降低 50%端到端响应速度提升 2 倍。本文从系统架构、任务分类器原理、缓存感知切换机制、配额路由逻辑、基准实验细节、工程难点与局限性等维度对 Weave Router 2.0 进行纯技术拆解不涉及产品营销内容。1 引言大语言模型在软件工程领域的落地已经从 “单一模型包揽所有编码任务” 逐步转向多模型混合调度范式。不同厂商的代码大模型各有优劣部分模型擅长长上下文大型代码库重构部分模型在短脚本编写、命令行调试场景成本更低模型服务商各自独立的配额体系、上下文缓存机制、API 协议差异给 Coding Agent 带来了巨大的调度复杂度。传统的多模型路由方案存在几个典型缺陷静态路由基于请求来源、固定规则分配模型无法感知任务真实复杂度简单任务依然调用高成本大模型造成资源浪费复杂任务分配能力不足的小模型引发任务失败、重试开销激增配额路由仅做余量探测只判断模型是否还有可用额度不评估模型能力与任务是否匹配出现 “有配额但做不了任务” 的无效路由忽略上下文缓存状态模型切换时不考虑缓存重建开销频繁切换模型导致上下文缓存失效额外的 token 开销抵消模型切换带来的成本优势生态隔离Codex、Claude Code 等编程智能体运行环境与底层模型强绑定无法跨生态调用第三方模型。Weave Router 2.0 的定位就是部署在 Coding Agent 与底层大模型 API 之间的智能调度中间层。它不是大模型本身不负责生成代码、理解需求核心职责是接收来自各类编程智能体的请求评估任务复杂度探测各个后端模型的配额余量在满足任务能力阈值的候选模型集合中选择成本最优模型同时引入缓存感知切换机制量化模型切换带来的缓存重建成本只有当预期成本节约大于切换开销时才执行模型切换操作。Weave Router 2.0 打通了模型调用的生态边界在现有订阅体系下支持 Codex 调用 Claude 模型Claude Code 调用 GPT 模型。所有请求由路由层转发自动路由至尚有配额余量的候选模型。整套系统的核心创新点集中在任务复杂度分类器与缓存感知模型切换策略也是本文重点剖析的两个模块。本文后续章节组织如下第 2 章介绍 Weave Router 2.0 整体系统架构与数据流第 3 章深入任务复杂度分类器阐述特征工程、模型训练、推理打分逻辑第 4 章讲解缓存感知切换机制建立成本数学模型第 5 章介绍配额探测与候选模型筛选流程第 6 章复现 Terminal-Bench 4.0、SWE-Atlas 基准测试实验设计与结果分析第 7 章讨论工程落地难点第 8 章分析系统局限性第 9 章总结。2 Weave Router 2.0 系统架构与请求数据流Weave Router 2.0 整体采用分层模块化架构分为接入层、路由决策层、后端模型网关层、观测与状态存储层。整体无强中心化单点瓶颈路由决策逻辑是整个系统的核心。2.1 四层架构总览接入层接入层面向各类 Coding Agent 提供统一 API 入口包括 Codex、Claude Code 等编程智能体。接入层完成协议适配将不同 Agent 原生请求格式统一转换成路由内部标准请求结构体同时完成订阅身份校验、权限鉴权实现跨生态模型调用能力 ——Codex 的请求在这里剥离原生模型绑定交由路由决策层可转发到 Claude 模型Claude Code 的请求同样可以转发至 GPT 模型。 接入层不做任何任务理解仅做协议转换、限流、请求日志埋点。路由决策层核心模块路由决策层是 Weave Router 2.0 的大脑包含三个核心子组件任务复杂度分类器、候选模型筛选器、缓存感知切换决策单元。任务复杂度分类器接收标准化后的 Agent 请求提取任务特征输出任务复杂度分数、任务能力需求标签候选模型筛选器读取后端模型实时配额状态结合分类器输出的能力需求标签过滤出满足能力下限、且还有可用配额的候选模型集合缓存感知切换决策单元对比当前正在使用的模型和候选集合内模型计算切换收益与缓存重建开销最终输出本次请求选定的目标模型。后端模型网关层网关层负责对接各个大模型厂商的原始 API封装不同模型厂商的接口差异、token 计价规则、上下文缓存协议。网关层维护每个后端模型的实时状态剩余配额、当前 token 单价、缓存命中率、API 延迟、错误率。 网关层支持并行配额探测低延迟获取各模型配额余量实现自动路由到尚有配额的模型。当选中目标模型后网关层转发请求并把模型返回结果、token 使用量、缓存命中状态回传给路由决策层和观测存储层。观测与状态存储层存储层分为两部分短期内存状态保存会话级上下文缓存映射关系持久化存储保存历史请求样本、基准测试数据、成本统计、模型性能指标。 观测模块持续采集每一次请求的全链路指标输入输出 token、缓存命中 / 未命中、模型切换事件、端到端耗时、任务是否成功完成。采集的数据一方面用于运维监控另一方面作为训练集持续迭代任务复杂度分类器。2.2 单次 Coding Agent 请求完整数据流Coding AgentCodex / Claude Code发起代码任务请求请求内容包含用户需求、代码库上下文、历史对话消息请求进入 Weave Router 2.0 接入层完成身份校验、协议转换生成标准化请求对象标准化请求送入路由决策层任务复杂度分类器提取任务特征输出复杂度得分与能力需求标签候选模型筛选器查询后端模型网关获取所有模型实时配额余量、模型能力上限过滤得到满足当前任务能力要求且配额充足的候选模型列表缓存感知切换决策单元读取当前会话正在使用的模型计算【切换到候选模型可节省的成本】VS【切换模型带来的上下文缓存重建开销】只有预期净收益 0 时才更换目标模型否则继续沿用当前会话模型路由决策输出目标模型由后端网关转发请求至对应大模型 API可以是跨生态模型Codex 请求转发 ClaudeClaude Code 请求转发 GPT底层模型完成推理返回代码结果网关回传结果给接入层接入层将结果适配回原始 Agent 的协议格式返回给 Coding Agent观测模块记录本次请求全量指标更新各模型配额状态如果任务执行完成把样本加入分类器训练数据集。关键点路由决策是会话感知的不是单请求无状态决策。同一个代码会话连续多轮调用会维护会话上下文缓存绑定关系这也是缓存感知切换机制能够生效的基础。3 任务复杂度分类器路由决策的核心评估模块传统路由策略最大缺陷无法量化任务到底需要多强的模型能力。简单任务单行 shell 命令编写、小函数 bug 修复能力较弱的模型即可完成复杂任务百万级代码库重构、多模块依赖排查、长文档代码方案设计必须使用高能力模型小模型会出现逻辑错误、代码幻觉带来重试成本总成本反而更高。Weave Router 2.0 使用全新设计的任务复杂度分类器目标是对每一个 coding agent 请求预测完成该任务所需最低模型能力等级而不是直接预测模型输出结果。分类器输出结果作为候选模型筛选的硬性约束条件候选模型必须能力等级 ≥ 任务最低能力要求否则直接剔除哪怕该模型配额充足、价格极低。3.1 分类器输入特征工程分类器输入特征全部从 Agent 请求原始数据提取不调用任何大模型做预推理避免额外成本特征分为五大类上下文规模特征上下文总 token 数量新增用户输入 token代码片段数量、代码文件个数代码文件平均行数是否包含多仓库、多模块跨文件引用任务类型特征通过正则、关键词匹配区分任务类型命令行操作、单元测试编写、单函数修改、接口重构、架构设计、Bug 根因排查、代码迁移等任务约束特征是否要求严格语法正确性是否需要理解复杂业务逻辑是否需要多轮调试、多步推理输出格式约束JSON、完整项目代码、shell 脚本等会话历史特征当前会话历史轮次历史轮次是否出现模型输出失败、代码无法运行历史会话中模型切换次数环境特征Agent 类型Codex / Claude Code基准任务标签如果是 Benchmark 测试任务。所有特征做归一化处理离散特征做 embedding连续特征做标准化。3.2 分类器模型结构与训练目标分类器本身是轻量级多层感知机MLP 少量文本 embedding 头轻量化设计保证路由决策延迟极低不会给整体链路增加显著耗时。训练目标不是二分类难 / 简单而是有序多分类预测任务所需的最低模型能力等级。能力等级预先基于大量离线基准实验标定例如 L1简单脚本、L2单文件代码修改、L3多文件模块调试、L4大型代码库重构。训练数据集构建方式离线采集大量历史 Coding Agent 请求样本对每个样本使用不同能力等级模型做离线评估标记能够稳定正确完成任务的最低模型等级标签即为该样本的真值数据集包含 Terminal-Bench 4.0、SWE-Atlas 的所有测试用例保证基准场景下分类器评估准确在线持续学习线上每一次请求记录任务最终是否成功如果任务失败回溯判断是否因为分类器低估任务复杂度自动把样本加入训练集做增量更新。3.3 分类器推理输出与筛选逻辑分类器推理输出两个核心结果任务最低能力等级 L置信度分数如果置信度低路由系统会自动抬高能力等级保底防止低估复杂度导致任务失败。候选模型筛选器拿到 L 之后遍历所有后端模型读取每个模型的能力等级 M。 筛选规则仅保留 M ≥ L并且剩余配额 0 的模型进入候选集合。 候选集合为空时触发降级策略向上放宽能力等级或返回配额耗尽提示。举例分类器判定任务等级 L2候选模型有模型 AM1低价配额充足、模型 BM3中等价格配额充足、模型 CM4高价配额充足。筛选后剔除模型 A候选集合保留 B、C后续在 B、C 中选择成本最优同时结合缓存状态判断是否切换。这个设计解决了传统路由 “有配额但模型能力不足” 的痛点。不是谁便宜用谁而是先保证模型能力满足任务底线再在合格模型里选成本最低。4 缓存感知型切换机制量化模型切换的隐式开销这是 Weave Router 2.0 另一项核心创新。很多多模型调度方案忽略一个关键事实大模型上下文缓存是会话绑定的。同一个会话如果从模型 X 切换到模型 Y模型 Y 无法复用模型 X 的上下文缓存。模型 Y 需要重新加载全部上下文触发缓存未命中产生大量输入 token 计费增加推理耗时。模型切换带来的收益切换到单价更低模型降低后续每轮请求 token 成本。 模型切换带来的代价缓存重建开销一次性大量输入 token、推理延迟上升。如果不做量化判断盲目切换模型会出现单次切换的缓存重建开销超过后续多轮节省下来的成本整体总成本反而上升。缓存感知切换机制就是为了解决这个问题建立成本收益数学模型只有净收益为正才允许模型切换。4.1 模型切换成本收益数学模型定义变量\(C_x\)当前会话使用模型 X每轮输入 token 单价\(C_y\)候选模型 Y每轮输入 token 单价\(T_{in}\)单轮平均输入 tokenN预估该会话剩余请求轮数\(Cost_{switch}\)切换到 Y 的一次性缓存重建开销全部上下文重新输入 token 的费用LatencyPenalty切换带来的延迟惩罚非成本项作为约束条件。切换总收益\(Profit N \times T_{in} \times (C_x - C_y) - Cost_{switch}\)决策规则当 \(Profit 0\)并且切换后的模型 Y 满足任务能力等级要求并且配额充足允许切换模型当 \(Profit ≤ 0\)维持当前模型不切换。预估剩余轮数 N 由会话特征预测基于当前会话已执行轮次、任务类型一次性短任务 / 大型多轮开发任务预测。对于一次性单轮请求N1此时切换收益很难覆盖缓存重建开销系统倾向不切换。延迟约束除了成本收益还会评估切换后模型的推理延迟。如果切换后模型延迟超出系统阈值即使成本收益为正也禁止切换保证 Coding Agent 响应速度。4.2 缓存状态追踪实现细节Weave Router 2.0 在会话维度维护缓存映射表session_id - 当前绑定模型、上下文摘要、缓存 token 大小。同一个 session连续请求默认复用当前绑定模型当候选模型集合更新或者任务复杂度发生显著变化时触发切换收益计算如果会话上下文本身很短缓存重建开销很小切换更容易触发长上下文会话切换代价极高系统倾向稳定使用同一个模型避免频繁切换。4.3 边界场景处理会话上下文重置用户清空对话上下文此时缓存失效\(Cost_{switch}\) 归零路由可以自由选择最优模型当前模型配额耗尽强制切换跳过收益判断选择候选集合内次优模型配额耗尽属于硬性约束成本收益模型不再生效任务复杂度突变会话前半段是简单任务后续突然变为高复杂度重构任务。分类器输出等级提升原有模型能力不满足强制切换至高能力模型。5 配额探测、跨生态调用与候选模型路由逻辑Weave Router 2.0 支持在现有订阅计划下Codex 使用 ClaudeClaude Code 使用 GPT。这里需要澄清路由层不是绕过订阅体系而是复用已有的订阅配额体系。路由网关会实时探测各个模型订阅下剩余配额余量自动将请求路由到仍有配额的模型。5.1 配额余量探测机制配额探测分为主动轮询 被动更新两种方式被动更新每次调用模型 API 之后网关根据返回信息更新该订阅下剩余配额该方式精度最高轻量主动轮询后台异步轮询各模型配额状态轮询频率较低避免大量 API 开销轮询结果作为缓存供路由决策使用配额状态分级充足、紧张、耗尽。当模型处于配额紧张状态时路由会降低该模型优先级优先选择配额充足模型。配额是和订阅身份绑定。同一个用户订阅多个模型配额独立。路由网关维护用户订阅 - 模型配额映射关系。5.2 跨生态调用实现原理Codex 原生设计为调用 Codex 系列模型Claude Code 原生绑定 Claude。Weave Router 2.0 接入层做请求劫持与协议翻译Coding Agent 发出请求指向 Weave Router 接入地址而不是原生模型地址接入层读取 Agent 请求中的上下文、代码、prompt剥离 Agent 内置模型标识路由决策完成模型选择网关层把请求翻译成目标模型 API 协议。Codex 请求翻译成 Claude API 格式Claude Code 请求翻译成 GPT API 格式底层模型返回结果网关将结果结构转换回 Agent 可识别的返回格式Agent 感知不到底层模型发生变化。Agent 侧不需要大规模改造仅修改 API endpoint即可接入路由系统实现跨模型调用。重要路由层只是协议翻译与请求转发不会修改 prompt 语义不会篡改模型输入输出内容。5.3 完整候选模型选择流程汇总分类器输出任务最低能力等级 L查询所有模型实时配额过滤掉配额耗尽模型过滤模型能力等级 M L 的模型得到候选模型池候选池为空触发降级告警候选池非空读取当前会话绑定模型执行缓存感知切换收益计算如果不切换继续使用当前模型如果允许切换从候选池选择单位成本最低模型网关转发请求至目标模型。6 Terminal-Bench 4.0 SWE-Atlas 基准测试实验与结果分析为验证 Weave Router 2.0 的综合能力官方使用两个代码智能体权威基准 Terminal-Bench 4.0、SWE-Atlas 开展对照实验。对照组为直接使用 GPT-6 Astra实验组启用 Weave Router 2.0 动态路由调度。6.1 测试基准介绍Terminal-Bench 4.0面向终端命令行、脚本调试、Linux 环境任务的代码基准大量任务需要模型编写 shell、排查服务异常、操作文件系统任务长短不一既有单步简单命令也有多步链式调试任务。侧重模型在真实终端环境解决问题能力。SWE-Atlas软件工程大型基准包含真实开源代码库的 Issue 修复需要模型理解大规模代码上下文、定位缺陷、编写修复代码与测试用例。任务普遍上下文长推理复杂度高考验模型长上下文代码理解与修改能力。两组基准测试均采用 Coding Agent 标准评测流程Agent 自主和环境交互完成任务评测指标包含任务通过率、端到端完成耗时、总 token 消耗、推理总成本。6.2 实验环境配置对照组固定使用 GPT-6 Astra所有任务全部由该模型处理无路由、无模型切换实验组启用 Weave Router 2.0路由可以在候选模型集合内动态选择模型启用任务复杂度分类器 缓存感知切换机制候选池包含 GPT、Claude 系列多个模型评测规则同一测试用例固定 Agent 逻辑仅改变底层模型调度层保证变量唯一成本统计按照各模型官方 token 计价标准统计总成本速度统计为 Agent 从接收任务到任务完成的端到端耗时。6.3 实验结果任务性能通过率实验组 Weave Router 2.0 调度下Terminal-Bench 4.0、SWE-Atlas 的任务通过率与对照组 GPT-6 Astra 持平。也就是说路由系统动态选择模型不会降低任务解决能力路由选择的模型能力足以完成任务推理成本实验组整体总成本约为对照组的 50%成本减半端到端速度实验组平均完成耗时为对照组的 1/2速度提升 2 倍。6.4 结果技术分析为什么性能持平、成本减半、速度翻倍简单任务分类器识别低复杂度任务路由自动选择低成本、低延迟模型不需要调用昂贵的 GPT-6 Astra这类任务占基准测试中相当大比例大幅压低平均成本同时小模型推理速度更快高复杂度大型代码任务分类器识别高等级任务路由会自动选择能力足够的模型包含 GPT-6 Astra 或同等能力模型保证任务通过率不下降缓存感知切换机制避免无效切换长会话任务不会频繁切换模型防止缓存重建带来额外开销与延迟配额自动路由当某一个模型配额耗尽路由平滑切换到其他可用模型不会造成任务中断。实验结果证明Weave Router 2.0 的核心收益来自任务粒度的模型能力匹配。用最低满足能力要求的模型处理任务而不是所有任务都统一使用最高规格模型。7 工程落地难点7.1 任务复杂度分类器的泛化性问题分类器训练依赖历史任务样本。对于从未见过的全新类型软件工程任务分类器可能低估任务复杂度。低估会导致选择能力不足模型任务失败带来重试开销。 工程上的缓解方案置信度兜底机制。当分类器预测置信度不足时自动上浮任务能力等级选择更强模型牺牲部分成本换取稳定性。同时持续在线增量学习不断扩充样本覆盖边界。7.2 缓存状态跨模型无法复用的底层限制这个是当前大模型 API 架构的固有约束不是路由系统缺陷。不同厂商模型的上下文缓存格式、内部 tokenizer、上下文编码完全独立。路由只能在会话层面记录缓存是否存在无法把模型 A 的缓存迁移给模型 B。 所以缓存感知切换只能做收益预判不能消除切换带来的缓存重建开销。未来如果模型厂商开放可迁移上下文缓存该机制的收益空间会进一步放大。7.3 配额状态不一致问题配额探测存在异步延迟。网关读到的配额余量是缓存快照可能出现路由判定模型配额充足发起请求之后实际配额已经耗尽API 返回配额不足报错。 工程解决方案加入熔断机制当模型返回配额耗尽错误立刻标记该模型配额耗尽更新候选池同时做配额预留缓冲当剩余配额低于阈值提前把模型移出候选池减少此类竞态。7.4 多轮会话动态任务复杂度漂移同一个代码会话任务会动态变化一开始简单探索后续演化成大型重构任务。分类器需要持续根据每一轮新增信息更新复杂度评估。如果评估更新不及时会持续使用低能力模型直到多次失败造成耗时浪费。 解决方案每一轮请求都重新运行分类器评估当任务等级发生显著跳变重新触发路由决策。8 系统局限性必须明确Weave Router 2.0 是调度路由层不是提升模型本身推理能力的方案。它存在明确边界不能提升单个模型本身能力上限路由只能在已有候选模型池里选择模型如果候选集合没有对应高能力模型复杂任务无法完成收益依赖候选模型池多样性候选模型池里面模型价格、能力差异越大路由系统节约成本的效果越明显如果候选模型都是同规格同价位模型路由几乎没有成本收益短一次性任务收益有限单轮一次性请求缓存切换收益模型很难触发路由收益主要体现在多轮持续编程会话场景分类器存在评估误差存在小概率高估或者低估复杂度高估会浪费成本低估会引发任务失败需要权衡两者的取舍无法解决模型本身的代码幻觉、逻辑错误路由只保证所选模型能力等级满足任务统计意义上的下限不能保证模型每一次输出代码都完全正确。9 总结Weave Router 2.0 作为面向 Coding Agent 的多模型智能路由中间件核心创新并不在于简单的负载均衡或者配额故障转移而是引入任务复杂度分类器实现基于任务真实能力需求的模型筛选叠加缓存感知切换数学模型量化模型切换的隐式缓存重建开销只有预期净收益为正时才切换底层模型。系统打通了 Codex、Claude Code 编程智能体的模型生态壁垒在现有订阅配额体系下实现 Codex 调用 ClaudeClaude Code 调用 GPT请求自动路由至配额余量充足的候选模型。 在 Terminal-Bench 4.0、SWE-Atlas 基准评测中这套动态路由方案保持和 GPT-6 Astra 持平的任务解决能力同时实现成本减半、推理速度提升 2 倍。其核心本质是资源精细化调度不为简单任务支付超额模型算力成本复杂任务按需匹配高能力模型。Weave Router 2.0 代表代码智能体领域一个重要方向未来编程智能体不会绑定单一固定大模型而是由一层智能路由层根据任务复杂度、缓存状态、配额、成本动态调度异构模型池。当然这套系统仍存在局限性分类器泛化能力、跨模型缓存不可迁移、配额状态同步延迟等问题仍然是后续迭代需要持续优化的方向。以上就是 Weave Router 2.0 的完整技术拆解如果这篇文章对你理解大模型智能路由、Coding Agent 多模型调度有所帮助欢迎点赞、收藏、加关注后续会持续分享大模型中间件、代码智能体相关底层技术干货。 
长河君 · 2026/10/31 6:49:14 · 阅读 1.2k Weave Router 2.0 技术深度解析：多模型动态智能路由系统
摘要Weave Router 2.0 是面向 Coding Agent 场景设计的多模型调度路由层核心目标并非简单的模型负载均衡而是基于任务复杂度评估、缓存感知切换机制为每一次编程智能体请求自动选择满足任务能力约束前提下成本最优的大模型。该路由系统打破模型生态壁垒支持在 Codex 环境调用 Claude 系列模型同时在 Claude Code 环境调用 GPT 系列模型由路由层完成请求转发、配额探测、模型选择与结果回传。在 Terminal-Bench 4.0、SWE-Atlas 两大代码基准测试中Weave Router 2.0 调度后的综合性能对标 GPT-6 Astra推理成本降低 50%端到端响应速度提升 2 倍。本文从系统架构、任务分类器原理、缓存感知切换机制、配额路由逻辑、基准实验细节、工程难点与局限性等维度对 Weave Router 2.0 进行纯技术拆解不涉及产品营销内容。1 引言大语言模型在软件工程领域的落地已经从 “单一模型包揽所有编码任务” 逐步转向多模型混合调度范式。不同厂商的代码大模型各有优劣部分模型擅长长上下文大型代码库重构部分模型在短脚本编写、命令行调试场景成本更低模型服务商各自独立的配额体系、上下文缓存机制、API 协议差异给 Coding Agent 带来了巨大的调度复杂度。传统的多模型路由方案存在几个典型缺陷静态路由基于请求来源、固定规则分配模型无法感知任务真实复杂度简单任务依然调用高成本大模型造成资源浪费复杂任务分配能力不足的小模型引发任务失败、重试开销激增配额路由仅做余量探测只判断模型是否还有可用额度不评估模型能力与任务是否匹配出现 “有配额但做不了任务” 的无效路由忽略上下文缓存状态模型切换时不考虑缓存重建开销频繁切换模型导致上下文缓存失效额外的 token 开销抵消模型切换带来的成本优势生态隔离Codex、Claude Code 等编程智能体运行环境与底层模型强绑定无法跨生态调用第三方模型。Weave Router 2.0 的定位就是部署在 Coding Agent 与底层大模型 API 之间的智能调度中间层。它不是大模型本身不负责生成代码、理解需求核心职责是接收来自各类编程智能体的请求评估任务复杂度探测各个后端模型的配额余量在满足任务能力阈值的候选模型集合中选择成本最优模型同时引入缓存感知切换机制量化模型切换带来的缓存重建成本只有当预期成本节约大于切换开销时才执行模型切换操作。Weave Router 2.0 打通了模型调用的生态边界在现有订阅体系下支持 Codex 调用 Claude 模型Claude Code 调用 GPT 模型。所有请求由路由层转发自动路由至尚有配额余量的候选模型。整套系统的核心创新点集中在任务复杂度分类器与缓存感知模型切换策略也是本文重点剖析的两个模块。本文后续章节组织如下第 2 章介绍 Weave Router 2.0 整体系统架构与数据流第 3 章深入任务复杂度分类器阐述特征工程、模型训练、推理打分逻辑第 4 章讲解缓存感知切换机制建立成本数学模型第 5 章介绍配额探测与候选模型筛选流程第 6 章复现 Terminal-Bench 4.0、SWE-Atlas 基准测试实验设计与结果分析第 7 章讨论工程落地难点第 8 章分析系统局限性第 9 章总结。2 Weave Router 2.0 系统架构与请求数据流Weave Router 2.0 整体采用分层模块化架构分为接入层、路由决策层、后端模型网关层、观测与状态存储层。整体无强中心化单点瓶颈路由决策逻辑是整个系统的核心。2.1 四层架构总览接入层接入层面向各类 Coding Agent 提供统一 API 入口包括 Codex、Claude Code 等编程智能体。接入层完成协议适配将不同 Agent 原生请求格式统一转换成路由内部标准请求结构体同时完成订阅身份校验、权限鉴权实现跨生态模型调用能力 ——Codex 的请求在这里剥离原生模型绑定交由路由决策层可转发到 Claude 模型Claude Code 的请求同样可以转发至 GPT 模型。 接入层不做任何任务理解仅做协议转换、限流、请求日志埋点。路由决策层核心模块路由决策层是 Weave Router 2.0 的大脑包含三个核心子组件任务复杂度分类器、候选模型筛选器、缓存感知切换决策单元。任务复杂度分类器接收标准化后的 Agent 请求提取任务特征输出任务复杂度分数、任务能力需求标签候选模型筛选器读取后端模型实时配额状态结合分类器输出的能力需求标签过滤出满足能力下限、且还有可用配额的候选模型集合缓存感知切换决策单元对比当前正在使用的模型和候选集合内模型计算切换收益与缓存重建开销最终输出本次请求选定的目标模型。后端模型网关层网关层负责对接各个大模型厂商的原始 API封装不同模型厂商的接口差异、token 计价规则、上下文缓存协议。网关层维护每个后端模型的实时状态剩余配额、当前 token 单价、缓存命中率、API 延迟、错误率。 网关层支持并行配额探测低延迟获取各模型配额余量实现自动路由到尚有配额的模型。当选中目标模型后网关层转发请求并把模型返回结果、token 使用量、缓存命中状态回传给路由决策层和观测存储层。观测与状态存储层存储层分为两部分短期内存状态保存会话级上下文缓存映射关系持久化存储保存历史请求样本、基准测试数据、成本统计、模型性能指标。 观测模块持续采集每一次请求的全链路指标输入输出 token、缓存命中 / 未命中、模型切换事件、端到端耗时、任务是否成功完成。采集的数据一方面用于运维监控另一方面作为训练集持续迭代任务复杂度分类器。2.2 单次 Coding Agent 请求完整数据流Coding AgentCodex / Claude Code发起代码任务请求请求内容包含用户需求、代码库上下文、历史对话消息请求进入 Weave Router 2.0 接入层完成身份校验、协议转换生成标准化请求对象标准化请求送入路由决策层任务复杂度分类器提取任务特征输出复杂度得分与能力需求标签候选模型筛选器查询后端模型网关获取所有模型实时配额余量、模型能力上限过滤得到满足当前任务能力要求且配额充足的候选模型列表缓存感知切换决策单元读取当前会话正在使用的模型计算【切换到候选模型可节省的成本】VS【切换模型带来的上下文缓存重建开销】只有预期净收益 0 时才更换目标模型否则继续沿用当前会话模型路由决策输出目标模型由后端网关转发请求至对应大模型 API可以是跨生态模型Codex 请求转发 ClaudeClaude Code 请求转发 GPT底层模型完成推理返回代码结果网关回传结果给接入层接入层将结果适配回原始 Agent 的协议格式返回给 Coding Agent观测模块记录本次请求全量指标更新各模型配额状态如果任务执行完成把样本加入分类器训练数据集。关键点路由决策是会话感知的不是单请求无状态决策。同一个代码会话连续多轮调用会维护会话上下文缓存绑定关系这也是缓存感知切换机制能够生效的基础。3 任务复杂度分类器路由决策的核心评估模块传统路由策略最大缺陷无法量化任务到底需要多强的模型能力。简单任务单行 shell 命令编写、小函数 bug 修复能力较弱的模型即可完成复杂任务百万级代码库重构、多模块依赖排查、长文档代码方案设计必须使用高能力模型小模型会出现逻辑错误、代码幻觉带来重试成本总成本反而更高。Weave Router 2.0 使用全新设计的任务复杂度分类器目标是对每一个 coding agent 请求预测完成该任务所需最低模型能力等级而不是直接预测模型输出结果。分类器输出结果作为候选模型筛选的硬性约束条件候选模型必须能力等级 ≥ 任务最低能力要求否则直接剔除哪怕该模型配额充足、价格极低。3.1 分类器输入特征工程分类器输入特征全部从 Agent 请求原始数据提取不调用任何大模型做预推理避免额外成本特征分为五大类上下文规模特征上下文总 token 数量新增用户输入 token代码片段数量、代码文件个数代码文件平均行数是否包含多仓库、多模块跨文件引用任务类型特征通过正则、关键词匹配区分任务类型命令行操作、单元测试编写、单函数修改、接口重构、架构设计、Bug 根因排查、代码迁移等任务约束特征是否要求严格语法正确性是否需要理解复杂业务逻辑是否需要多轮调试、多步推理输出格式约束JSON、完整项目代码、shell 脚本等会话历史特征当前会话历史轮次历史轮次是否出现模型输出失败、代码无法运行历史会话中模型切换次数环境特征Agent 类型Codex / Claude Code基准任务标签如果是 Benchmark 测试任务。所有特征做归一化处理离散特征做 embedding连续特征做标准化。3.2 分类器模型结构与训练目标分类器本身是轻量级多层感知机MLP 少量文本 embedding 头轻量化设计保证路由决策延迟极低不会给整体链路增加显著耗时。训练目标不是二分类难 / 简单而是有序多分类预测任务所需的最低模型能力等级。能力等级预先基于大量离线基准实验标定例如 L1简单脚本、L2单文件代码修改、L3多文件模块调试、L4大型代码库重构。训练数据集构建方式离线采集大量历史 Coding Agent 请求样本对每个样本使用不同能力等级模型做离线评估标记能够稳定正确完成任务的最低模型等级标签即为该样本的真值数据集包含 Terminal-Bench 4.0、SWE-Atlas 的所有测试用例保证基准场景下分类器评估准确在线持续学习线上每一次请求记录任务最终是否成功如果任务失败回溯判断是否因为分类器低估任务复杂度自动把样本加入训练集做增量更新。3.3 分类器推理输出与筛选逻辑分类器推理输出两个核心结果任务最低能力等级 L置信度分数如果置信度低路由系统会自动抬高能力等级保底防止低估复杂度导致任务失败。候选模型筛选器拿到 L 之后遍历所有后端模型读取每个模型的能力等级 M。 筛选规则仅保留 M ≥ L并且剩余配额 0 的模型进入候选集合。 候选集合为空时触发降级策略向上放宽能力等级或返回配额耗尽提示。举例分类器判定任务等级 L2候选模型有模型 AM1低价配额充足、模型 BM3中等价格配额充足、模型 CM4高价配额充足。筛选后剔除模型 A候选集合保留 B、C后续在 B、C 中选择成本最优同时结合缓存状态判断是否切换。这个设计解决了传统路由 “有配额但模型能力不足” 的痛点。不是谁便宜用谁而是先保证模型能力满足任务底线再在合格模型里选成本最低。4 缓存感知型切换机制量化模型切换的隐式开销这是 Weave Router 2.0 另一项核心创新。很多多模型调度方案忽略一个关键事实大模型上下文缓存是会话绑定的。同一个会话如果从模型 X 切换到模型 Y模型 Y 无法复用模型 X 的上下文缓存。模型 Y 需要重新加载全部上下文触发缓存未命中产生大量输入 token 计费增加推理耗时。模型切换带来的收益切换到单价更低模型降低后续每轮请求 token 成本。 模型切换带来的代价缓存重建开销一次性大量输入 token、推理延迟上升。如果不做量化判断盲目切换模型会出现单次切换的缓存重建开销超过后续多轮节省下来的成本整体总成本反而上升。缓存感知切换机制就是为了解决这个问题建立成本收益数学模型只有净收益为正才允许模型切换。4.1 模型切换成本收益数学模型定义变量\(C_x\)当前会话使用模型 X每轮输入 token 单价\(C_y\)候选模型 Y每轮输入 token 单价\(T_{in}\)单轮平均输入 tokenN预估该会话剩余请求轮数\(Cost_{switch}\)切换到 Y 的一次性缓存重建开销全部上下文重新输入 token 的费用LatencyPenalty切换带来的延迟惩罚非成本项作为约束条件。切换总收益\(Profit N \times T_{in} \times (C_x - C_y) - Cost_{switch}\)决策规则当 \(Profit 0\)并且切换后的模型 Y 满足任务能力等级要求并且配额充足允许切换模型当 \(Profit ≤ 0\)维持当前模型不切换。预估剩余轮数 N 由会话特征预测基于当前会话已执行轮次、任务类型一次性短任务 / 大型多轮开发任务预测。对于一次性单轮请求N1此时切换收益很难覆盖缓存重建开销系统倾向不切换。延迟约束除了成本收益还会评估切换后模型的推理延迟。如果切换后模型延迟超出系统阈值即使成本收益为正也禁止切换保证 Coding Agent 响应速度。4.2 缓存状态追踪实现细节Weave Router 2.0 在会话维度维护缓存映射表session_id - 当前绑定模型、上下文摘要、缓存 token 大小。同一个 session连续请求默认复用当前绑定模型当候选模型集合更新或者任务复杂度发生显著变化时触发切换收益计算如果会话上下文本身很短缓存重建开销很小切换更容易触发长上下文会话切换代价极高系统倾向稳定使用同一个模型避免频繁切换。4.3 边界场景处理会话上下文重置用户清空对话上下文此时缓存失效\(Cost_{switch}\) 归零路由可以自由选择最优模型当前模型配额耗尽强制切换跳过收益判断选择候选集合内次优模型配额耗尽属于硬性约束成本收益模型不再生效任务复杂度突变会话前半段是简单任务后续突然变为高复杂度重构任务。分类器输出等级提升原有模型能力不满足强制切换至高能力模型。5 配额探测、跨生态调用与候选模型路由逻辑Weave Router 2.0 支持在现有订阅计划下Codex 使用 ClaudeClaude Code 使用 GPT。这里需要澄清路由层不是绕过订阅体系而是复用已有的订阅配额体系。路由网关会实时探测各个模型订阅下剩余配额余量自动将请求路由到仍有配额的模型。5.1 配额余量探测机制配额探测分为主动轮询 被动更新两种方式被动更新每次调用模型 API 之后网关根据返回信息更新该订阅下剩余配额该方式精度最高轻量主动轮询后台异步轮询各模型配额状态轮询频率较低避免大量 API 开销轮询结果作为缓存供路由决策使用配额状态分级充足、紧张、耗尽。当模型处于配额紧张状态时路由会降低该模型优先级优先选择配额充足模型。配额是和订阅身份绑定。同一个用户订阅多个模型配额独立。路由网关维护用户订阅 - 模型配额映射关系。5.2 跨生态调用实现原理Codex 原生设计为调用 Codex 系列模型Claude Code 原生绑定 Claude。Weave Router 2.0 接入层做请求劫持与协议翻译Coding Agent 发出请求指向 Weave Router 接入地址而不是原生模型地址接入层读取 Agent 请求中的上下文、代码、prompt剥离 Agent 内置模型标识路由决策完成模型选择网关层把请求翻译成目标模型 API 协议。Codex 请求翻译成 Claude API 格式Claude Code 请求翻译成 GPT API 格式底层模型返回结果网关将结果结构转换回 Agent 可识别的返回格式Agent 感知不到底层模型发生变化。Agent 侧不需要大规模改造仅修改 API endpoint即可接入路由系统实现跨模型调用。重要路由层只是协议翻译与请求转发不会修改 prompt 语义不会篡改模型输入输出内容。5.3 完整候选模型选择流程汇总分类器输出任务最低能力等级 L查询所有模型实时配额过滤掉配额耗尽模型过滤模型能力等级 M L 的模型得到候选模型池候选池为空触发降级告警候选池非空读取当前会话绑定模型执行缓存感知切换收益计算如果不切换继续使用当前模型如果允许切换从候选池选择单位成本最低模型网关转发请求至目标模型。6 Terminal-Bench 4.0 SWE-Atlas 基准测试实验与结果分析为验证 Weave Router 2.0 的综合能力官方使用两个代码智能体权威基准 Terminal-Bench 4.0、SWE-Atlas 开展对照实验。对照组为直接使用 GPT-6 Astra实验组启用 Weave Router 2.0 动态路由调度。6.1 测试基准介绍Terminal-Bench 4.0面向终端命令行、脚本调试、Linux 环境任务的代码基准大量任务需要模型编写 shell、排查服务异常、操作文件系统任务长短不一既有单步简单命令也有多步链式调试任务。侧重模型在真实终端环境解决问题能力。SWE-Atlas软件工程大型基准包含真实开源代码库的 Issue 修复需要模型理解大规模代码上下文、定位缺陷、编写修复代码与测试用例。任务普遍上下文长推理复杂度高考验模型长上下文代码理解与修改能力。两组基准测试均采用 Coding Agent 标准评测流程Agent 自主和环境交互完成任务评测指标包含任务通过率、端到端完成耗时、总 token 消耗、推理总成本。6.2 实验环境配置对照组固定使用 GPT-6 Astra所有任务全部由该模型处理无路由、无模型切换实验组启用 Weave Router 2.0路由可以在候选模型集合内动态选择模型启用任务复杂度分类器 缓存感知切换机制候选池包含 GPT、Claude 系列多个模型评测规则同一测试用例固定 Agent 逻辑仅改变底层模型调度层保证变量唯一成本统计按照各模型官方 token 计价标准统计总成本速度统计为 Agent 从接收任务到任务完成的端到端耗时。6.3 实验结果任务性能通过率实验组 Weave Router 2.0 调度下Terminal-Bench 4.0、SWE-Atlas 的任务通过率与对照组 GPT-6 Astra 持平。也就是说路由系统动态选择模型不会降低任务解决能力路由选择的模型能力足以完成任务推理成本实验组整体总成本约为对照组的 50%成本减半端到端速度实验组平均完成耗时为对照组的 1/2速度提升 2 倍。6.4 结果技术分析为什么性能持平、成本减半、速度翻倍简单任务分类器识别低复杂度任务路由自动选择低成本、低延迟模型不需要调用昂贵的 GPT-6 Astra这类任务占基准测试中相当大比例大幅压低平均成本同时小模型推理速度更快高复杂度大型代码任务分类器识别高等级任务路由会自动选择能力足够的模型包含 GPT-6 Astra 或同等能力模型保证任务通过率不下降缓存感知切换机制避免无效切换长会话任务不会频繁切换模型防止缓存重建带来额外开销与延迟配额自动路由当某一个模型配额耗尽路由平滑切换到其他可用模型不会造成任务中断。实验结果证明Weave Router 2.0 的核心收益来自任务粒度的模型能力匹配。用最低满足能力要求的模型处理任务而不是所有任务都统一使用最高规格模型。7 工程落地难点7.1 任务复杂度分类器的泛化性问题分类器训练依赖历史任务样本。对于从未见过的全新类型软件工程任务分类器可能低估任务复杂度。低估会导致选择能力不足模型任务失败带来重试开销。 工程上的缓解方案置信度兜底机制。当分类器预测置信度不足时自动上浮任务能力等级选择更强模型牺牲部分成本换取稳定性。同时持续在线增量学习不断扩充样本覆盖边界。7.2 缓存状态跨模型无法复用的底层限制这个是当前大模型 API 架构的固有约束不是路由系统缺陷。不同厂商模型的上下文缓存格式、内部 tokenizer、上下文编码完全独立。路由只能在会话层面记录缓存是否存在无法把模型 A 的缓存迁移给模型 B。 所以缓存感知切换只能做收益预判不能消除切换带来的缓存重建开销。未来如果模型厂商开放可迁移上下文缓存该机制的收益空间会进一步放大。7.3 配额状态不一致问题配额探测存在异步延迟。网关读到的配额余量是缓存快照可能出现路由判定模型配额充足发起请求之后实际配额已经耗尽API 返回配额不足报错。 工程解决方案加入熔断机制当模型返回配额耗尽错误立刻标记该模型配额耗尽更新候选池同时做配额预留缓冲当剩余配额低于阈值提前把模型移出候选池减少此类竞态。7.4 多轮会话动态任务复杂度漂移同一个代码会话任务会动态变化一开始简单探索后续演化成大型重构任务。分类器需要持续根据每一轮新增信息更新复杂度评估。如果评估更新不及时会持续使用低能力模型直到多次失败造成耗时浪费。 解决方案每一轮请求都重新运行分类器评估当任务等级发生显著跳变重新触发路由决策。8 系统局限性必须明确Weave Router 2.0 是调度路由层不是提升模型本身推理能力的方案。它存在明确边界不能提升单个模型本身能力上限路由只能在已有候选模型池里选择模型如果候选集合没有对应高能力模型复杂任务无法完成收益依赖候选模型池多样性候选模型池里面模型价格、能力差异越大路由系统节约成本的效果越明显如果候选模型都是同规格同价位模型路由几乎没有成本收益短一次性任务收益有限单轮一次性请求缓存切换收益模型很难触发路由收益主要体现在多轮持续编程会话场景分类器存在评估误差存在小概率高估或者低估复杂度高估会浪费成本低估会引发任务失败需要权衡两者的取舍无法解决模型本身的代码幻觉、逻辑错误路由只保证所选模型能力等级满足任务统计意义上的下限不能保证模型每一次输出代码都完全正确。9 总结Weave Router 2.0 作为面向 Coding Agent 的多模型智能路由中间件核心创新并不在于简单的负载均衡或者配额故障转移而是引入任务复杂度分类器实现基于任务真实能力需求的模型筛选叠加缓存感知切换数学模型量化模型切换的隐式缓存重建开销只有预期净收益为正时才切换底层模型。系统打通了 Codex、Claude Code 编程智能体的模型生态壁垒在现有订阅配额体系下实现 Codex 调用 ClaudeClaude Code 调用 GPT请求自动路由至配额余量充足的候选模型。 在 Terminal-Bench 4.0、SWE-Atlas 基准评测中这套动态路由方案保持和 GPT-6 Astra 持平的任务解决能力同时实现成本减半、推理速度提升 2 倍。其核心本质是资源精细化调度不为简单任务支付超额模型算力成本复杂任务按需匹配高能力模型。Weave Router 2.0 代表代码智能体领域一个重要方向未来编程智能体不会绑定单一固定大模型而是由一层智能路由层根据任务复杂度、缓存状态、配额、成本动态调度异构模型池。当然这套系统仍存在局限性分类器泛化能力、跨模型缓存不可迁移、配额状态同步延迟等问题仍然是后续迭代需要持续优化的方向。以上就是 Weave Router 2.0 的完整技术拆解如果这篇文章对你理解大模型智能路由、Coding Agent 多模型调度有所帮助欢迎点赞、收藏、加关注后续会持续分享大模型中间件、代码智能体相关底层技术干货。