选型指南 架构设计 含可复制代码

把评测指标接进发布门禁:哪些指标不允许退化

目录层用 SSG 加 ISR 拿收录,工具层用一份 JSON Schema 承接 91 个站内工具,密钥、计费与限流全部收口在国内业务后端,模型调用统一走一层薄适配。这篇把我们真实的目录结构、Schema 字段定义、路由闸门、预扣结算伪代码和合规清单完整摊开。

陈
陈默架构组
2026-09-28 · 14 分钟阅读 · 8,432 次浏览

方向写错,门禁会变成反向激励。

"指标不退化"要写进发布门禁

如果评测只在"有空的时候跑" ✗,那么质量退化就会随每次发布缓慢累积 ✔ ——

单次都"看起来没问题",半年后整体明显变差 ✔(这是最典型的慢性退化 ✔)。

做法:把关键指标写进发布门禁 ✔ —— 不达标就不许合并/发布 ✔。

一、哪些指标该进"硬门禁"

| 指标 | 门禁形式 | 理由 |

|---|---|---|

| 格式合规率 | 不得低于上版 ▼ | 格式错会直接打崩下游 ✔ |

| 该拒答却作答率 | 不得上升 ▲ | 编造是最危险的失败 ✔ |

| 崩溃/超时率 | 不得上升 ▲ | 可用性底线 ✔ |

| 单位成本 | ≤ 预算 × 1.2 ▲ | 防未察觉的翻倍 ✔ |

| P95 延迟 | ≤ 上版 × 1.2 ▲ | 体感底线 ✔ |

注意方向 ✗:有的指标"越低越好"(编造率 ✔),有的"越高越好"(合规率 ✔)——

方向写错,门禁会变成反向激励 ✗。

二、哪些指标只做"提醒"

· 主指标(正确率)的小幅波动 ✔ —— 受样本方差影响 ✔(见小样本那篇 ✔),

硬门禁会导致频繁假红 ✗(假红多了,团队就会开始绕过门禁 ✔);

· 长度、风格类指标 ✔(与业务无硬关联 ✔)。

原则:硬门禁只放"后果明确且可稳定测量"的指标 ✔。

三、门禁的三个工程细节

1. 与"上版"比而不是与"历史最优"比 ✔(否则一旦有高峰值,之后永远过不了 ✔);

2. 冒烟集要小(几十条、1 分钟内 ✔)—— 否则没人愿意等 ✗(见评测接进 CI ✔);

3. 假红要有人处理 ✔(每周复盘假红,调整阈值或样本 ✔ —— 否则门禁会失信 ✔)。

四、门禁之外的"人工门"

有些退化机器测不出 ✔(语气变生硬、答案变啰嗦 ✔)→ 保留人工抽检:

每次发布抽 10 条看 ✔,并在变更说明里附结论 ✔。

五、落地顺序

1. 先上"格式合规率 + 崩溃率"两条硬门禁 ✔(最容易量化 ✔,收益立竿见影 ✔);

2. 再加"该拒答却作答率" ✔(安全类 ✔);

3. 然后加成本与延迟 ✔;

4. 最后才考虑把主指标纳入(并允许小幅波动 ✔)。

一条判据

> 一次改动导致格式合规率下降 5 个点 ✔,它能不能被自动拦下 ✔?

> 不能,说明门禁还没覆盖到真正重要的地方 ✗。

本文由云枢 AI导航整理,内容以官方来源为准。

相关文章

顺序阅读

← 上一篇:AI 功能的默认值设计:安全默认与显式选择
下一篇:AI 功能的状态与恢复:会话中断了怎么办 →

第 91 / 171 篇

术语速查 · 本页出现的 12 个词展开看中文名与一句话解释,点术语看完整条目
  • token词元:模型处理文本的最小单位,中文约 1–2 个汉字;计费与上下文长度都按它算。
  • 转写 / 字幕Transcription:把音视频人声逐句变成带时间戳的文字稿,便于做字幕与章节切分。
  • SSE服务器发送事件:服务器通过长连接持续推送增量文本,是对白逐字出现的常见实现。
  • API应用编程接口:程序之间约定的调用方式;站内工具由服务端调用,浏览器里不出现密钥。
  • CDN内容分发网络:把静态资源缓存到离用户更近的节点,缩短加载时间。
  • 缓存Cache:把结果暂存复用,复用得越多平均耗时越低;需要约定过期与刷新策略。
  • 限流Rate Limit:限制单位时间内的请求次数,防止单用户或异常流量打满服务端。
  • SSG静态站点生成:构建阶段就生成 HTML,访问时直接返回,不必每次请求都渲染。
  • ISR增量静态再生:先返回静态页,再在后台按需重新生成,兼顾速度与更新时效。
  • 灰度发布Canary Release:先让一小部分用户用新版本,确认无误再放量,出问题的爆炸半径最小。
  • 提示词Prompt:交给模型的指令文本;写清角色、任务、输入与输出格式比反复试更省。
  • 积分Credits:站内计费单位:按工具单价预扣,调用失败自动退还;单价以定价页为准。

完整解释与站内出现处见 AI 术语表(40 条)。