选型指南 架构设计 含可复制代码

错误预算:允许错多少、超了怎么办

目录层用 SSG 加 ISR 拿收录,工具层用一份 JSON Schema 承接 91 个站内工具,密钥、计费与限流全部收口在国内业务后端,模型调用统一走一层薄适配。这篇把我们真实的目录结构、Schema 字段定义、路由闸门、预扣结算伪代码和合规清单完整摊开。

陈
陈默架构组
2026-09-28 · 14 分钟阅读 · 8,432 次浏览

该拒答却作答 1 例,远比格式错 50 例严重。

"允许错多少"要事先说清

AI 功能不可能零错误 ✔。但很多团队没有定义"可接受的错误水平" ✗,

于是每次出问题都在争论"这算不算严重" ✔ —— 争论没有依据 ✔。

引入"错误预算" ✔:事先约定可接受的失败量 ✔,用完就停止加新功能、先修质量 ✔。

一、怎么定预算(三条)

1. 按后果定(错了会怎样 ✔ —— 见需求七问 ✔):

影响资金/合规的 → 预算极低 ✔;影响体验的 → 可放宽 ✔;

2. 按指标定(可测量的 ❌ 而不是感觉 ✔):

例如"该拒答却作答率 ≤ 1%""格式合规率 ≥ 99%" ✔;

3. 按周期定(每周/每月重置 ✔),并公开可见 ✔。

示例 ✔:

```

本周预算:

该拒答却作答:≤ 3 例(当前 1 例)

格式合规率:≥ 99%(当前 99.4%)

P95 延迟:≤ 4s(当前 3.1s)

```

二、预算的两种用法

· 没超预算 ✔ → 可以继续推进新功能(质量在可控范围 ✔);

· 超了预算 ✗ → 优先修质量 ✔(暂停或减少新功能 ✔ —— 这是这套机制的价值所在 ✔)。

要点:错误预算不是"允许摆烂" ✗,而是把"什么时候该停下修质量"变成客观判断 ✔。

三、和"发布门禁"的分工

· 发布门禁(见发布门禁那篇 ✔):单次改动不许让指标退化 ✔;

· 错误预算:一段时间内整体可接受的失败量 ✔。

两者配合 ✔:改动不能一次变差 ✔;长期累积也不能超预算 ✔(否则就该系统性整改 ✔)。

四、三个反模式

· 预算定得不可能达到 ✗(每次都超 → 大家就不看了 ✔);

· 只看总量不看类型 ✗(该拒答却作答 1 例 ≫ 格式错 50 例 ✔);

· 超预算没有后果 ✗(那就不是预算,是装饰 ✔)。

五、一条判据

> 现在这个功能的"错误预算"是多少 ✔?本周用了多少 ✔?

> 答不出,说明质量还没有"可承诺的水平" ✗。

本文由云枢 AI导航整理,内容以官方来源为准。

相关文章

顺序阅读

← 上一篇:降级链要有层次:五级递进与每级的四个问题
下一篇:AI 功能的发布节奏:多久发一次比较好 →

第 146 / 171 篇

术语速查 · 本页出现的 12 个词展开看中文名与一句话解释,点术语看完整条目
  • token词元:模型处理文本的最小单位,中文约 1–2 个汉字;计费与上下文长度都按它算。
  • 转写 / 字幕Transcription:把音视频人声逐句变成带时间戳的文字稿,便于做字幕与章节切分。
  • SSE服务器发送事件:服务器通过长连接持续推送增量文本,是对白逐字出现的常见实现。
  • API应用编程接口:程序之间约定的调用方式;站内工具由服务端调用,浏览器里不出现密钥。
  • CDN内容分发网络:把静态资源缓存到离用户更近的节点,缩短加载时间。
  • 缓存Cache:把结果暂存复用,复用得越多平均耗时越低;需要约定过期与刷新策略。
  • 限流Rate Limit:限制单位时间内的请求次数,防止单用户或异常流量打满服务端。
  • SSG静态站点生成:构建阶段就生成 HTML,访问时直接返回,不必每次请求都渲染。
  • ISR增量静态再生:先返回静态页,再在后台按需重新生成,兼顾速度与更新时效。
  • 灰度发布Canary Release:先让一小部分用户用新版本,确认无误再放量,出问题的爆炸半径最小。
  • 提示词Prompt:交给模型的指令文本;写清角色、任务、输入与输出格式比反复试更省。
  • 积分Credits:站内计费单位:按工具单价预扣,调用失败自动退还;单价以定价页为准。

完整解释与站内出现处见 AI 术语表(40 条)。