把检查清单贴在流程上,而不是记在脑子里
团队都知道"改动要跑评测" ✔,但忙碌时最容易省的就是这一步 ✗。
把检查清单写进流程 ✔(PR 模板、发布单、自动化门禁 ✔),执行率才会高 ✔。
一、按改动类型给清单(四种)
A. 改提示词
□ 只改了一处(能用一句话说清 ✔)
□ 离线对照:净胜数 + 区间(见对照实验那篇 ✔)
□ 失败类型无新增严重类别 ✔
□ 版本号已更新,并进日志 ✔
□ 变更说明(动机/证据/回滚 ✔)
B. 换模型
□ 冻结评测集与基线 ✔
□ 格式合规率不降;该拒答却作答率不升 ✔
□ 单位成本与 P95 延迟在预算内 ✔
□ 影子/灰度跑过(限时限比例 ✔)
□ 保留旧路径,可一键回滚 ✔
C. 改检索(切分/索引/排序)
□ 跑黄金集:召回@K、命中位次、无结果正确率(见检索回归 ✔)
□ 权限过滤仍然生效(越权检索数 = 0 ✔)
□ 索引滞后时间与删除残留检查 ✔
□ 抽样人工看 10 条结果质量 ✔
D. 改默认值/权限/额度
□ 是"安全默认"(见默认值那篇 ✔)
□ 界面显示当前状态 ✔
□ 危险项有二次确认 ✔
□ 变更对外说明(用户可感知的行为变化 ✔)
二、清单怎么才会被执行
- 进 PR 模板 ✔(不提就不许合并 ✔);
- 能自动化的自动化(评测与门禁 ✔ —— 见发布门禁那篇 ✔);
- 人工项要留痕(谁看的、结论是什么 ✔);
- 定期精简(清单太长会被忽略 ✗ —— 每季度删掉没用的项 ✔)。
三、三个反模式
- 清单停留在文档里 ✗(没人照着做 ✔);
- 所有改动用同一张清单 ✗(过重会被跳过 ✔);
- 清单只增不减 ✗(半年后没人看 ✔)。
一条判据
随机抽最近 5 次改动 ✔,能否都找到对应的检查记录(评测结果/人工结论 ✔)?
有缺的,说明清单还没进流程 ✗。