人工智能 评测 工程实践

把评测指标接进发布门禁:哪些指标不允许退化

只在有空时跑评测,质量会慢性退化。本文给出该进硬门禁的五类指标与方向、只该提醒的指标、门禁的三个工程细节(与上版比、冒烟集要小、假红要处理)与人工门。

云
云枢 AI导航
2026-10-07 · 3 分钟阅读 · 0 次浏览

"指标不退化"要写进发布门禁

如果评测只在"有空的时候跑" ✗,那么质量退化就会随每次发布缓慢累积 ✔ ——

单次都"看起来没问题",半年后整体明显变差 ✔(这是最典型的慢性退化 ✔)。

做法:把关键指标写进发布门禁 ✔ —— 不达标就不许合并/发布 ✔。

一、哪些指标该进"硬门禁"

指标门禁形式理由
格式合规率不得低于上版 ▼格式错会直接打崩下游 ✔
该拒答却作答率不得上升 ▲编造是最危险的失败 ✔
崩溃/超时率不得上升 ▲可用性底线 ✔
单位成本≤ 预算 × 1.2 ▲防未察觉的翻倍 ✔
P95 延迟≤ 上版 × 1.2 ▲体感底线 ✔

注意方向 ✗:有的指标"越低越好"(编造率 ✔),有的"越高越好"(合规率 ✔)——

方向写错,门禁会变成反向激励 ✗。

二、哪些指标只做"提醒"

  • 主指标(正确率)的小幅波动 ✔ —— 受样本方差影响 ✔(见小样本那篇 ✔),

硬门禁会导致频繁假红 ✗(假红多了,团队就会开始绕过门禁 ✔);

  • 长度、风格类指标 ✔(与业务无硬关联 ✔)。

原则:硬门禁只放"后果明确且可稳定测量"的指标 ✔。

三、门禁的三个工程细节

  • 与"上版"比而不是与"历史最优"比 ✔(否则一旦有高峰值,之后永远过不了 ✔);
  • 冒烟集要小(几十条、1 分钟内 ✔)—— 否则没人愿意等 ✗(见评测接进 CI ✔);
  • 假红要有人处理 ✔(每周复盘假红,调整阈值或样本 ✔ —— 否则门禁会失信 ✔)。

四、门禁之外的"人工门"

有些退化机器测不出 ✔(语气变生硬、答案变啰嗦 ✔)→ 保留人工抽检:

每次发布抽 10 条看 ✔,并在变更说明里附结论 ✔。

五、落地顺序

  • 先上"格式合规率 + 崩溃率"两条硬门禁 ✔(最容易量化 ✔,收益立竿见影 ✔);
  • 再加"该拒答却作答率" ✔(安全类 ✔);
  • 然后加成本与延迟 ✔;
  • 最后才考虑把主指标纳入(并允许小幅波动 ✔)。

一条判据

一次改动导致格式合规率下降 5 个点 ✔,它能不能被自动拦下 ✔?
不能,说明门禁还没覆盖到真正重要的地方 ✗。

想要你的品牌在AI回答里被推荐?

WeGEO 帮你诊断品牌在豆包、DeepSeek、通义千问中的可见度,给出可执行优化方案。