只看总量会漏掉「总量不变但编造变多」。
评测报告写给谁看
评测做得很扎实，但决策者看不懂 ✗，结果就是"报告发了没人看、决策靠感觉" ✗。
问题不在数据，而在呈现：一张几十行的指标表 ✗ ≠ 能支持决策的信息 ✔。
给决策者的报告，三张图就够 ✔。
图一：质量趋势（按周）
· 横轴时间、纵轴主指标（例如任务完成率）✔；
· 同时画失败类型占比堆叠（编造 / 格式 / 漏答 / 拒答 ✔）；
· 目的：看出"总量在升还是在降"与"结构有没有恶化" ✔。
要点：只看总量会漏掉"总量不变但编造变多" ✗（见反馈闭环那篇 ✔）。
图二：改动前后对照（净胜数 + 区间）
· 每次改动画一条：净胜数与置信区间 ✔；
· 区间跨 0 → 标"未观察到显著差异" ✔（见小样本那篇 ✔）；
· 目的：让决策者一眼看出"这次改动到底有没有用" ✔。
要点：不要用"明显更好" ✗；用净胜数与区间 ✔。
图三：成本 × 质量散点
· 横轴单位成本、纵轴质量指标 ✔；
· 每个点=一个功能（或一个模型版本 ✔）；
· 画出预算线与质量下限 ✔；
· 目的：直接暴露"贵但不好"与"便宜且够用"的两类对象 ✔。
这张图最能推动决策 ✔：优化方向通常一眼就出来了 ✔。
三个呈现纪律
1. 每张图有结论句 ✔（"本周编造占比从 4% 升到 7%，主要来自长文档场景" ✔）；
2. 不确定的如实标注 ✔（样本量不足、区间跨 0 ✔）；
3. 不放原始明细 ✗（明细放附录/链接 ✔）。
一份报告的最小结构
```
1. 本周结论（3 行以内）
2. 三张图（趋势 / 对照 / 成本-质量）
3. 需要决策的事项（1~3 条，每条给建议与代价）
4. 附录：样本量、口径、未解决风险
```
一条判据
> 决策者只看第一页，能否做出"继续 / 回滚 / 调预算"的决定 ✔？
> 不能，说明报告是给评测者自己看的 ✗，不是给决策者的 ✔。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：如何在内部推动 AI 工程规范：从门禁开始
下一篇：AI 功能的灰度开关设计：谁、什么时候、怎么关 →
第 61 / 171 篇