上个月账单出来一个内部问答入口的推理费超了预算四成。看一眼调用明细八成的请求都是简短问答用旗舰模型跑每百万 token 的价钱是小模型的十几倍。简单题跑贵模型账单自然难看。这篇把端云分流和多模型路由的落地方法整理出来。先给结论表。维度路由依据典型动作难度任务类型与关键词简单题走小模型难题升级成本每任务预算超预算降级或排队延迟等待预算长任务走异步短问答走快模型可用性错误码与超时熔断切备用端点一、分级路由的判定分流判定别用模型自评成本就发生在判定这一步。我的做法是两层第一层用规则命中关键词的任务多步推理、长文、代码直接走大模型第二层按输入长度和会话轮数打底分超过阈值升级。规则能覆盖七八成场景剩下的交给一次便宜的预判调用。升级条件写清楚。小模型的回答触发三种信号就升大模型格式校验失败、用户点了没解决、追问同一问题第二轮。升级率控制在个位数太高说明规则太保守。二、降级与熔断主模型超时或者限流要能切备用端点。超时预算按任务类型分配短问答五秒长任务两分钟超了切备用而不是硬等。切过去之后标记任务的模型来源出问题复盘能查到。熔断状态要按端点隔离。一个供应商故障不要把全部流量带崩连续错误计数超阈值就摘掉该端点半开状态下放少量流量试探恢复。三、成本账成本核算单位从每 token 细化到每任务。同一个任务经过路由、升级、重试可能花掉好几个模型的额度账要按任务聚合才看得清。我这边接入的账本按天出报表三个数固定看平均每任务成本、升级率、缓存命中率。缓存命中是最便宜的降本手段。语义缓存篇的命中判断在这里直接复用命中就完全不花模型钱。把这两层加上之后常态情况下三分之一的请求不花钱一半走小模型。四、实测账指标改造前改造后平均每任务成本基准降到 42%升级率无分流6.8%平均首字延迟1.9s0.7s端点故障切换人工介入自动30 秒内口径说明。数字来自自己项目的内部问答入口月请求量二十万级改造内容是分级路由、熔断和按任务聚合的账本。模型价格波动大套用前按自己的价目表重算。五、踩坑记录坑一判定器比被判定的事还贵。第一版用大模型做难度判定每请求都要先花一次调用账单不降反升。换回规则加轻量预判预判用最小档模型。坑二降级后格式不一致。备用模型对 JSON 输出的遵循度不同切换后下游解析失败。输出格式的校验统一走结构化输出篇那套两个端点跑同一份样例集。坑三配额打爆是静默的。备用端点也有配额故障转移时全部流量压过去账号级限流被触发两边都不可用。转移时按端点的剩余额度做权重不是无脑全量切换。六、总结环节一句话分流规则打底升级条件写成清单降级超时预算分级熔断按端点隔离账本按任务聚合三个指标日看缓存命中不花钱是最便宜的降本复盘换端点跑同一份格式样例集结合系列。语义缓存篇省掉重复问题这篇管的是剩下的问题由谁答。延迟篇的首字指标在这里是路由的一个依据维度。结构化输出篇的校验是降级切换的质量闸门。来源。端云分流与模型路由的行业信号参考了公开周报《算力、路由、账本》分流骨架与实测数字按自己的项目实践整理价格与配额按自己账号的实际情况重算。觉得有用点个关注。