说不出「需要多少样本」，就还不能下结论。
"看起来变好了"是最常见的错误结论
改动后跑 20 条样本，正确率从 70% 涨到 75% —— 这很可能只是噪声 ✗。
生成类任务方差大，小样本上的差异常常不显著 ✔。如实说"看不出来" 是专业能力 ✔，
而把噪声当成果 ✗ 会导致错误决策（把没用的改动推广、把有用的改动回滚）✗。
一、先估"需要多少样本"
粗略办法（比例类指标）：
· 若基线正确率约 0.7，想在 95% 置信下分辨 5 个百分点的差异 → 每版需要几百条样本 ✔；
· 想分辨 10 个百分点 → 每版 ~80 条左右就够 ✔；
· 想分辨 2 个百分点 → 需要上千条 ✔。
（实际还要看指标类型与配对方式；但量级必须先有概念 ✗。）
配对样本（同一批输入跑两版）比两批独立样本效率高得多 ✔ —— 优先用配对 ✔。
二、三条实用判据
1. 看"净胜数"而不是两个百分比：逐条比较"更好/一样/更差" ✔；
2. 给区间，不给单点：报告写"净胜 6 条，95% 区间 −2 ~ +14" ✔（区间跨过 0 → 看不出差异 ✔）；
3. 失败类型变化优先于总分 ✔：总分没变但"编造"变多 → 是恶化 ✔。
三、什么情况下就该说"看不出来"
· 样本量远低于所需（例如只跑了 30 条想分辨 3 个百分点 ✗）；
· 配对结果的净胜数在置信区间内跨 0 ✔；
· 差异集中在少数样本（去掉 2 条极端样本结论就翻转 ✗）→ 稳健性检验不过 ✔。
如实写"未观察到显著差异"，并说明需要多少样本才能判断 ✔ —— 这比强行给结论有用得多 ✔。
四、小样本下仍能做的判断
· 崩溃级问题：格式错、超时、拒答 —— 这类只要出现 1~2 例就值得处理 ✔（不需要大样本 ✔）；
· 单调性检查：改动方向是否符合预期（例如"加上限后输出更短"✔）—— 方向类结论对小样本更敏感 ✔；
· 失败类型新增：出现以前没有的坏模式 ✔ → 直接拦下 ✗。
五、给团队的规矩（避免自欺）
1. 评测报告必须写样本量与区间 ✔；
2. 禁止用"明显更好"这类词（除非差异远超噪声 ✔）；
3. 结论区分方向性（可信）与幅度（需大样本）✔；
4. 需要大样本时，先做成流水线跑（见评测接进 CI ✔），别靠手工试 ✗。
一条判据
> 如果你无法说出"这个差异要多少样本才能确认"，就还不能下结论 ✗。
> 说"看不出来"不是失败，是把不确定性如实交出去 ✔。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：把 AI 能力做成 API 给别人用：契约、配额与文档
下一篇：模型换代怎么迁：对照、灰度与回滚 →
第 53 / 171 篇