评测报告写给谁看
评测做得很扎实,但决策者看不懂 ✗,结果就是"报告发了没人看、决策靠感觉" ✗。
问题不在数据,而在呈现:一张几十行的指标表 ✗ ≠ 能支持决策的信息 ✔。
给决策者的报告,三张图就够 ✔。
图一:质量趋势(按周)
- 横轴时间、纵轴主指标(例如任务完成率)✔;
- 同时画失败类型占比堆叠(编造 / 格式 / 漏答 / 拒答 ✔);
- 目的:看出"总量在升还是在降"与"结构有没有恶化" ✔。
要点:只看总量会漏掉"总量不变但编造变多" ✗(见反馈闭环那篇 ✔)。
图二:改动前后对照(净胜数 + 区间)
- 每次改动画一条:净胜数与置信区间 ✔;
- 区间跨 0 → 标"未观察到显著差异" ✔(见小样本那篇 ✔);
- 目的:让决策者一眼看出"这次改动到底有没有用" ✔。
要点:不要用"明显更好" ✗;用净胜数与区间 ✔。
图三:成本 × 质量散点
- 横轴单位成本、纵轴质量指标 ✔;
- 每个点=一个功能(或一个模型版本 ✔);
- 画出预算线与质量下限 ✔;
- 目的:直接暴露"贵但不好"与"便宜且够用"的两类对象 ✔。
这张图最能推动决策 ✔:优化方向通常一眼就出来了 ✔。
三个呈现纪律
- 每张图有结论句 ✔("本周编造占比从 4% 升到 7%,主要来自长文档场景" ✔);
- 不确定的如实标注 ✔(样本量不足、区间跨 0 ✔);
- 不放原始明细 ✗(明细放附录/链接 ✔)。
一份报告的最小结构
- 本周结论(3 行以内)
- 三张图(趋势 / 对照 / 成本-质量)
- 需要决策的事项(1~3 条,每条给建议与代价)
- 附录:样本量、口径、未解决风险
一条判据
决策者只看第一页,能否做出"继续 / 回滚 / 调预算"的决定 ✔?
不能,说明报告是给评测者自己看的 ✗,不是给决策者的 ✔。