多数请求走小模型，少数没做好的才升级。
全都用最强的模型，是最贵的懒政
模型选择是个取舍 ✔：快而省 vs 准而贵 ✔。
如果全站只用最强的 ✗，成本高、延迟差 ✔；如果只用最便宜的 ✗，质量差 ✔。
做法：默认自动路由 + 允许用户覆盖 ✔。
一、自动路由的三条规则
```
① 复杂度路由：简单任务（分类/抽取/格式化）→ 小模型
② 长度路由：超长输入 → 长上下文模型（或先摘要）
③ 兜底路由：小模型校验失败 → 自动升级到大模型重试一次
```
第 ③ 条最实用 ✗→✔：多数请求走小模型 ✔，
只有"小模型没做好"的少数请求才升级 ✔ —— 成本与质量都能兼顾 ✔。
二、给用户的"两档"而不是"参数表"
用户不需要看模型清单 ✗，需要能判断的两档 ✔：
```
○ 快速模式 — 约 2 秒，适合分类、改写、格式整理
○ 精确模式 — 约 8 秒，适合分析、多跳推理、复杂约束
（默认：自动选择）
```
要点：写清耗时与适用场景 ✔（见界面文案那篇 ✔），
而不是暴露模型名与参数 ✔。
三、用户覆盖的三种方式
· 预设档位（快速/精确 ✔ —— 最常用 ✔）；
· 自动 + 标注（系统选了哪个，为什么 ✔ —— 透明度 ✔）；
· 允许"升级重试"（对结果不满意时一键用更强模型重跑 ✔，并提示会消耗更多额度 ✔）。
四、该观测什么
· 路由分布（多少请求走小模型 ✔ —— 比例高说明路由有效 ✔）；
· 升级率（小模型失败升级的比例 ✔ —— 过高说明路由判据不准 ✔）；
· 各档的质量与成本（分别看 ✔ —— 不能只看平均 ✔）；
· 用户覆盖率（多少用户手动选档 ✔ —— 高说明自动选择不被信任 ✔）。
五、三个反模式
· 全用最强模型 ✗（成本与延迟都不必要地高 ✔）；
· 全用最便宜模型 ✗（复杂任务质量差，用户流失 ✔）；
· 让用户选模型版本号 ✗（用户无法判断 ✔）。
六、一条判据
> 用户能否说出"我该选哪档、为什么" ✔，而系统是否会把简单请求自动走便宜路径 ✔？
> 两者缺一，说明模型选择还没设计好 ✗。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：把检索结果做成可对话的：追问与下钻
下一篇：让 AI 逻辑可单测：把可测的部分拆出来 →
第 155 / 171 篇