越贵不等于越好,越省不等于越差
成本与质量通常呈收益递减曲线 ✔:
从"最便宜"提到"中等" ✗→✔,质量提升明显 ✔;
从"中等"提到"最贵" ✔,提升很小而成本翻倍 ✔。
要找到"最优点" ✔(而不是默认选最贵或最省 ✔)。
一、怎么画这条曲线(三步)
① 定指标:质量(可接受率)+ 成本(单位成本)
② 选 3~4 个档位:最省 / 中 / 贵 / 最贵
③ 同一批评测样本跑一遍 → 画散点(横轴成本、纵轴质量)
要点:同一批样本(否则不可比 ✔ —— 见口径文档 ✔)。
二、典型形态与判断
| 形态 | 判断 |
|---|---|
| 曲线在中段变平 ✔ | 中段就是最优点,不必上最贵 ✔ |
| 曲线持续上升且陡 ✔ | 该场景对质量敏感,值得上贵档 ✔ |
| 曲线几乎平 ✔ | 该用最省的(质量差不多 ✔) |
| 曲线上下抖动 ✔ | 样本太小或指标不稳 → 加样本 ✔ |
关键:按场景分别画 ✗→✔(分类任务与多跳推理的最优点不同 ✔ ——
一个可能在中段,一个可能在最贵段 ✔)。
三、找到最优点之后
- 写进路由规则 ✔(简单任务走省档 ✔ —— 见模型选择那篇 ✔);
- 设"质量下限"报警 ✔(低于下限自动升级到下一档 ✔);
- 季度复算 ✔(模型升级后曲线会变 ✔)。
四、三个反模式
- 只按"成功率"选档 ✗(忽略成本,永远选最贵 ✔);
- 只按成本选档 ✗(质量掉到不可接受 ✔);
- 用一个全局最优点 ✗(不同任务不同 ✔)。
五、一条判据
你能否说出"当前这档比下一档贵 X%,质量只高 Y%" ✔?
说不出,说明档位选择还是凭感觉 ✗。