人工智能 评测 工程实践

把评测接进日常:四种改动各自的检查清单

忙碌时最先省掉的就是评测。本文给出四类改动(提示词/换模型/改检索/改默认值)各自的检查清单、让清单真正被执行的四个做法与三个反模式。

云
云枢 AI导航
2026-10-07 · 2 分钟阅读 · 0 次浏览

把检查清单贴在流程上,而不是记在脑子里

团队都知道"改动要跑评测" ✔,但忙碌时最容易省的就是这一步 ✗。

把检查清单写进流程 ✔(PR 模板、发布单、自动化门禁 ✔),执行率才会高 ✔。

一、按改动类型给清单(四种)

A. 改提示词

□ 只改了一处(能用一句话说清 ✔)

□ 离线对照:净胜数 + 区间(见对照实验那篇 ✔)

□ 失败类型无新增严重类别 ✔

□ 版本号已更新,并进日志 ✔

□ 变更说明(动机/证据/回滚 ✔)

B. 换模型

□ 冻结评测集与基线 ✔

□ 格式合规率不降;该拒答却作答率不升 ✔

□ 单位成本与 P95 延迟在预算内 ✔

□ 影子/灰度跑过(限时限比例 ✔)

□ 保留旧路径,可一键回滚 ✔

C. 改检索(切分/索引/排序)

□ 跑黄金集:召回@K、命中位次、无结果正确率(见检索回归 ✔)

□ 权限过滤仍然生效(越权检索数 = 0 ✔)

□ 索引滞后时间与删除残留检查 ✔

□ 抽样人工看 10 条结果质量 ✔

D. 改默认值/权限/额度

□ 是"安全默认"(见默认值那篇 ✔)

□ 界面显示当前状态 ✔

□ 危险项有二次确认 ✔

□ 变更对外说明(用户可感知的行为变化 ✔)

二、清单怎么才会被执行

  • 进 PR 模板 ✔(不提就不许合并 ✔);
  • 能自动化的自动化(评测与门禁 ✔ —— 见发布门禁那篇 ✔);
  • 人工项要留痕(谁看的、结论是什么 ✔);
  • 定期精简(清单太长会被忽略 ✗ —— 每季度删掉没用的项 ✔)。

三、三个反模式

  • 清单停留在文档里 ✗(没人照着做 ✔);
  • 所有改动用同一张清单 ✗(过重会被跳过 ✔);
  • 清单只增不减 ✗(半年后没人看 ✔)。

一条判据

随机抽最近 5 次改动 ✔,能否都找到对应的检查记录(评测结果/人工结论 ✔)?
有缺的,说明清单还没进流程 ✗。

想要你的品牌在AI回答里被推荐?

WeGEO 帮你诊断品牌在豆包、DeepSeek、通义千问中的可见度,给出可执行优化方案。