该拒答却作答 1 例,远比格式错 50 例严重。
"允许错多少"要事先说清
AI 功能不可能零错误 ✔。但很多团队没有定义"可接受的错误水平" ✗,
于是每次出问题都在争论"这算不算严重" ✔ —— 争论没有依据 ✔。
引入"错误预算" ✔:事先约定可接受的失败量 ✔,用完就停止加新功能、先修质量 ✔。
一、怎么定预算(三条)
1. 按后果定(错了会怎样 ✔ —— 见需求七问 ✔):
影响资金/合规的 → 预算极低 ✔;影响体验的 → 可放宽 ✔;
2. 按指标定(可测量的 ❌ 而不是感觉 ✔):
例如"该拒答却作答率 ≤ 1%""格式合规率 ≥ 99%" ✔;
3. 按周期定(每周/每月重置 ✔),并公开可见 ✔。
示例 ✔:
```
本周预算:
该拒答却作答:≤ 3 例(当前 1 例)
格式合规率:≥ 99%(当前 99.4%)
P95 延迟:≤ 4s(当前 3.1s)
```
二、预算的两种用法
· 没超预算 ✔ → 可以继续推进新功能(质量在可控范围 ✔);
· 超了预算 ✗ → 优先修质量 ✔(暂停或减少新功能 ✔ —— 这是这套机制的价值所在 ✔)。
要点:错误预算不是"允许摆烂" ✗,而是把"什么时候该停下修质量"变成客观判断 ✔。
三、和"发布门禁"的分工
· 发布门禁(见发布门禁那篇 ✔):单次改动不许让指标退化 ✔;
· 错误预算:一段时间内整体可接受的失败量 ✔。
两者配合 ✔:改动不能一次变差 ✔;长期累积也不能超预算 ✔(否则就该系统性整改 ✔)。
四、三个反模式
· 预算定得不可能达到 ✗(每次都超 → 大家就不看了 ✔);
· 只看总量不看类型 ✗(该拒答却作答 1 例 ≫ 格式错 50 例 ✔);
· 超预算没有后果 ✗(那就不是预算,是装饰 ✔)。
五、一条判据
> 现在这个功能的"错误预算"是多少 ✔?本周用了多少 ✔?
> 答不出,说明质量还没有"可承诺的水平" ✗。
本文由云枢 AI导航整理,内容以官方来源为准。
相关文章
顺序阅读
← 上一篇:降级链要有层次:五级递进与每级的四个问题
下一篇:AI 功能的发布节奏:多久发一次比较好 →
第 146 / 171 篇