人工智能 评测 成本

错误预算:允许错多少、超了怎么办

没有可接受的错误水平,每次出问题都在争「算不算严重」。本文给出定预算的三条依据、预算的两种用法、与发布门禁的分工与三个反模式。

云
云枢 AI导航
2026-10-07 · 2 分钟阅读 · 0 次浏览

"允许错多少"要事先说清

AI 功能不可能零错误 ✔。但很多团队没有定义"可接受的错误水平" ✗,

于是每次出问题都在争论"这算不算严重" ✔ —— 争论没有依据 ✔。

引入"错误预算" ✔:事先约定可接受的失败量 ✔,用完就停止加新功能、先修质量 ✔。

一、怎么定预算(三条)

  • 按后果定(错了会怎样 ✔ —— 见需求七问 ✔):

影响资金/合规的 → 预算极低 ✔;影响体验的 → 可放宽 ✔;

  • 按指标定(可测量的 ❌ 而不是感觉 ✔):

例如"该拒答却作答率 ≤ 1%""格式合规率 ≥ 99%" ✔;

  • 按周期定(每周/每月重置 ✔),并公开可见 ✔。

示例 ✔:

本周预算:

该拒答却作答:≤ 3 例(当前 1 例)

格式合规率:≥ 99%(当前 99.4%)

P95 延迟:≤ 4s(当前 3.1s)

二、预算的两种用法

  • 没超预算 ✔ → 可以继续推进新功能(质量在可控范围 ✔);
  • 超了预算 ✗ → 优先修质量 ✔(暂停或减少新功能 ✔ —— 这是这套机制的价值所在 ✔)。

要点:错误预算不是"允许摆烂" ✗,而是把"什么时候该停下修质量"变成客观判断 ✔。

三、和"发布门禁"的分工

  • 发布门禁(见发布门禁那篇 ✔):单次改动不许让指标退化 ✔;
  • 错误预算:一段时间内整体可接受的失败量 ✔。

两者配合 ✔:改动不能一次变差 ✔;长期累积也不能超预算 ✔(否则就该系统性整改 ✔)。

四、三个反模式

  • 预算定得不可能达到 ✗(每次都超 → 大家就不看了 ✔);
  • 只看总量不看类型 ✗(该拒答却作答 1 例 ≫ 格式错 50 例 ✔);
  • 超预算没有后果 ✗(那就不是预算,是装饰 ✔)。

五、一条判据

现在这个功能的"错误预算"是多少 ✔?本周用了多少 ✔?
答不出,说明质量还没有"可承诺的水平" ✗。

想要你的品牌在AI回答里被推荐?

WeGEO 帮你诊断品牌在豆包、DeepSeek、通义千问中的可见度,给出可执行优化方案。