版本不冻结，实验就作废。
为什么 AI 功能的 A/B 测试常常不可信
传统 A/B 测试的假设（同一批用户随机分流、指标稳定、互不干扰）在 AI 功能上经常不成立：
· 同一用户重复提问，第二次的回答受第一次影响（上下文、缓存）；
· 模型是黑盒且会变：服务端版本更新会让两组同时变化，差异不再来自你的改动；
· 效果指标滞后：满意度、留存要几天甚至几周才显现，而模型行为可能早就变了；
· 样本量小、方差大：生成类任务的评分天然波动大，需要更多样本才能看出真实差异。
五件必须先定的事
1. 实验单位：按用户分流，而不是按请求（同一用户必须始终在同一组，否则体验割裂且污染数据）；
2. 指标口径：主指标只选一个（例如"任务完成率"），其余作为护栏指标（延迟、成本、负反馈率）；
3. 变更冻结：实验期内冻结模型与提示词版本，任何一方变了就作废重跑；
4. 样本量预估：按指标的方差反推需要多少样本，避免"跑两天看趋势"；
5. 判定规则：事先写清"达到什么条件算赢"，避免事后挑指标。
更适合 AI 的三种替代做法
离线对照（最常用）
固定一批真实样本，两个版本各跑一遍，用同一把尺子（评测集 + 人工抽检）比较。优点：快、可控、可重复。
影子模式
新版本在暗处跑，不影响用户，只记录结果；与线上版本对比，看差异与错误类型。适合高风险改动。
渐进放量 + 护栏
不做严格对照，而是 5% → 20% → 50% 逐步放量，每一步看护栏指标（延迟、成本、失败率、负反馈率）是否越界。适合"只要不变差就上线"的改动。
常见坑
· 两组提示词版本不同却以为是同一实验；
· 用平均分掩盖分布变化（平均不变但"极差回答"变多）；
· 拿同一批用户反复测，用户已经学会怎么用；
· 结论写"效果更好"却没写样本量与置信区间（应如实写清"在 N 个样本上观察到 X"）。
一个最小可信流程
1. 冻结版本，固定用户分组；
2. 选一个主指标 + 三个护栏指标；
3. 离线对照先跑一轮（几百条样本足够看出大差异）；
4. 线上渐进放量，每步看护栏；
5. 结论文档记录：改动、样本量、指标变化、没变好的地方。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：AI 功能的埋点与看板：该记录哪些字段
下一篇：把长任务做成可恢复：断点、幂等与进度可见 →
第 19 / 171 篇