只凭几条样本就上线，是最常见的反模式。
提示词改动最容易"悄悄上线"
多数团队的提示词改动流程是：本地试几条 → 改了线上配置 → 看用户反馈 ✗。
中间没有对照、没有回归、没有留痕 ✔ —— 出问题时也说不清"到底哪次改动导致的" ✗。
给提示词改动设四道关，就能把这件事变可控 ✔。
第一关：本地试跑（发现问题，不当作结论）
· 用 5~10 条边界样本快速试（空输入、超长、含噪声 ✔）；
· 目的是"排除明显错误"✔，不是判断效果 ✔（见小样本那篇 ✔）；
· 边界样本进版本库 ✔（下次还能用 ✔）。
第二关：离线对照（真正的效果判断）
· 同一批评测样本（100~300 条 ✔），只改被测的那一处 ✔；
· 逐条成对比较，输出净胜数 + 区间 ✔；
· 看失败类型变化（新增了哪类错 ✔）；
· 判据事先写死（例如"净胜 ≥ 0 且无新增严重失败" ✔）。
这一关是唯一能说"效果变好"的关 ✔ —— 其它关都不算证据 ✔。
第三关：影子/灰度（真实流量验证）
· 影子双跑（限时、限比例 ✔）比格式合规率、长度、成本、延迟 ✔；
· 再小流量灰度 ✔，盯四组指标（见灰度那篇 ✔）；
· 两版并存：旧版随时能切回 ✔。
第四关：上线与留痕
· 提示词版本号进请求日志 ✔（见可复现那篇 ✔）；
· 变更说明写清：动机、做法、证据、回滚方式 ✔；
· 更新评测集（把这次发现的坏样本补进去 ✔）。
四关各自的"通过判据"（建议直接抄）
```
第一关：无崩溃/格式错；边界样本通过
第二关：净胜数 ≥ 0 且区间不跨负；无新增严重失败类型
第三关：格式合规率不降；单位成本 ≤ 预算 × 1.2；P95 ≤ 旧版 × 1.2
第四关：版本号进日志；变更说明齐备；评测集已更新
```
两个常见反模式
· 跳过第二关 ✗（只凭几条样本就上线 ✔）—— 这是最常见的 ✗；
· 一次改多处 ✗（无法归因，出问题不知道回滚哪一处 ✔）。
一条判据
> 出问题时，能否在 5 分钟内回答"这是哪次提示词改动导致的" ✔？
> 不能，说明四道关没有真正跑起来 ✗。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：工具返回值要按「给人看」设计：结构化、摘要与溯源
下一篇：AI 功能的权限模型：能做与不能做要显式声明 →
第 73 / 171 篇