为什么需要路由
用最强模型处理所有请求最省心，也最贵；全用小模型最便宜，但复杂任务会答不好。
路由就是在请求进入时判断"这个请求需要多强的模型"，把成本花在刀刃上。
路由的三个判据（都要可度量）
- 输入特征：长度、是否含代码/表格、语言、是否多轮；
- 任务类型：分类/抽取/格式化 → 小模型；多步推理/长文分析 → 大模型；
- 历史信号：同一用户/同一类问题的失败率、重试率。
不要用"感觉这个请求很难"当判据 —— 路由规则必须是代码可判定的。
三种路由实现
| 方式 | 说明 | 代价 |
|---|---|---|
| 规则路由 | 按长度/类型/关键词分流 | 便宜、可解释；覆盖不全 |
| 分类器路由 | 训练一个小分类器判断难度 | 需要标注数据；可能误判 |
| 级联（先小后大） | 先小模型，置信度低再升级 | 简单可靠；平均延迟升高 |
级联最稳：小模型先答，用"是否满足校验/是否提到不确定"作为升级信号。
代价是简单请求也要等一次小模型 —— 通常可接受。
必须有兜底与抽检
- 兜底：路由判错时不能让用户吃亏 —— 校验失败就升级到强模型；
- 抽检：小模型结果按比例（例如 2%）用强模型或人工复核，量化"路由质量"；
- 不许静默：路由到弱模型时，要么对用户透明，要么保证结果达标。
该观测什么
- 各档模型的分流占比与成本占比；
- 升级率（级联里小模型失败的比例）—— 升高说明路由或小模型退化；
- 按档位的质量指标（不要只看总体）；
- P95 延迟（级联会抬高，要单独看简单请求的延迟）。
落地顺序
- 先统计各任务的成本与质量，找出"最贵但不是最难"的那部分；
- 只对这部分做规则路由（覆盖面小、风险低）；
- 加校验与升级兜底；
- 再引入抽检与看板；
- 稳定后再考虑分类器路由（不要一开始就上）。