每季度做一次"AI 功能体检"
AI 系统会缓慢退化 ✗:文档过时、模型行为漂移、成本上涨、依赖变更 ✔ ——
单看每周指标看不出来 ✔,需要一个季度级的整体复查 ✔。
体检的目的不是找锅 ✗,而是发现"已经悄悄变差的地方" ✔。
一、八项检查(每项给一个结论 ✔)
① 质量:主指标与失败类型分布 vs 上一季度(是否有缓慢恶化 ✔)
② 成本:单位成本趋势、Top 花费功能/租户、重试占比 ✔
③ 延迟:P50/P95 首字与总时长趋势 ✔
④ 评测集:是否需要补充新样本、淘汰过时样本(见评测组织能力 ✔)
⑤ 文档与术语:是否与现状一致(含术语表与黑名单 ✔)
⑥ 依赖:外部依赖版本、配额、计费口径是否有变(见外部依赖 ✔)
⑦ 护栏:限流/配额/降级/熔断是否仍然有效(做过演练吗 ✔ —— 见断上游演习 ✔)
⑧ 合规与权限:越权用例是否仍全拒、删除流程是否仍可验证 ✔
每项必须有证据 ✔(数字或演练记录 ✔),不能只写"正常" ✗。
二、体检的三个"必看变化"
- 失败类型分布的变化(比总量更重要 ✔ —— 见失败分类 ✔);
- 单位成本的季度变化(超过 +20% 要归因 ✔);
- 有没有新的失败模式(旧测试没覆盖到的 ✔ → 补样本 ✔)。
三、体检产出(一份短文档 + 待办)
① 结论:正常 / 有退化(列出退化项 ✔)
② 证据:每项一张小表或一条查询 ✔
③ 待办:每项退化给一个动作 + 负责人 + 验证方式 ✔
④ 不在本季度处理的:如实列出并给理由 ✔
要点:待办要进正常排期 ✔(否则体检就变成了"看过就算" ✗)。
四、两个反模式
- 体检变成汇报 ✗(一堆"正常",没有证据 ✔);
- 发现问题不排期 ✗(下次体检还是同样的问题 ✔)。
一条判据
季度体检里,能否至少指出一处正在缓慢变差的地方 ✔(或明确说"没有"并给证据 ✔)?
只能写出"一切正常"且没有证据,说明体检是走过场 ✗。