级联最稳：小模型先答，不达标再升级。
为什么需要路由
用最强模型处理所有请求最省心，也最贵；全用小模型最便宜，但复杂任务会答不好。
路由就是在请求进入时判断"这个请求需要多强的模型"，把成本花在刀刃上。
路由的三个判据（都要可度量）
1. 输入特征：长度、是否含代码/表格、语言、是否多轮；
2. 任务类型：分类/抽取/格式化 → 小模型；多步推理/长文分析 → 大模型；
3. 历史信号：同一用户/同一类问题的失败率、重试率。
不要用"感觉这个请求很难"当判据 —— 路由规则必须是代码可判定的。
三种路由实现
| 方式 | 说明 | 代价 |
|---|---|---|
| 规则路由 | 按长度/类型/关键词分流 | 便宜、可解释；覆盖不全 |
| 分类器路由 | 训练一个小分类器判断难度 | 需要标注数据；可能误判 |
| 级联（先小后大） | 先小模型，置信度低再升级 | 简单可靠；平均延迟升高 |
级联最稳：小模型先答，用"是否满足校验/是否提到不确定"作为升级信号。
代价是简单请求也要等一次小模型 —— 通常可接受。
必须有兜底与抽检
· 兜底：路由判错时不能让用户吃亏 —— 校验失败就升级到强模型；
· 抽检：小模型结果按比例（例如 2%）用强模型或人工复核，量化"路由质量"；
· 不许静默：路由到弱模型时，要么对用户透明，要么保证结果达标。
该观测什么
· 各档模型的分流占比与成本占比；
· 升级率（级联里小模型失败的比例）—— 升高说明路由或小模型退化；
· 按档位的质量指标（不要只看总体）；
· P95 延迟（级联会抬高，要单独看简单请求的延迟）。
落地顺序
1. 先统计各任务的成本与质量，找出"最贵但不是最难"的那部分；
2. 只对这部分做规则路由（覆盖面小、风险低）；
3. 加校验与升级兜底；
4. 再引入抽检与看板；
5. 稳定后再考虑分类器路由（不要一开始就上）。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：标注质量怎么做稳：标准、一致性与质检
下一篇：LLM 的缓存怎么做：三层缓存与三类不要缓存 →
第 36 / 171 篇