指标说不清口径，就没法比
"正确率 85%" ✔ —— 哪个正确率 ✔？谁来判 ✔？分母是什么 ✔？
口径不清的指标，跨周不可比、跨人不可复现 ✗，等于没有指标 ✔。
把口径写下来 ✔（一张小卡片 ✔），应成为评测脚本的注释与文档的附录 ✔。
一、每个指标要写清五件事
① 定义（一句话，可判定 ✔）
② 分子/分母（怎么算 ✔）
③ 数据来源（哪批样本、哪个集合 ✔）
④ 判定方式（规则 / 人工 / 模型打分 ✔ —— 谁判的 ✔）
⑤ 排除项（哪些样本被剔除、为什么 ✔）
第 ⑤ 项最常被省 ✗ —— 剔除规则不写清，等于可以"调指标" ✔。
二、常见指标的推荐口径
| 指标 | 推荐口径 |
|---|---|
| 正确率 | 判定为"对"的条数 / 全部有效样本（排除输入无效的 ✔） |
| 格式合规率 | 通过 schema 校验的条数 / 全部调用（含失败 ✔） |
| 该拒答却作答率 | 资料不足样本中给出确定断言的条数 / 资料不足样本总数 ✔ |
| 引用一致率 | 引用与结论相关的条数 / 有引用的条数 ✔ |
| 单位成本 | 总成本 / 成功调用数（不含失败 ✔ 还是含，要写明 ✔） |
注意 ✗：单位成本的分母写"全部调用"还是"成功调用"，会让数字差很多 ✔ ——
必须写明 ✔（我见过两个团队因此争论半天 ✔）。
三、口径变更要留痕
- 改口径 = 指标不可与历史直接比 ✔ → 必须标注"口径已变" ✔；
- 最好做法：新增口径而不是修改旧口径 ✔（两套并行一段时间 ✔）；
- 变更记录进评测脚本注释与变更说明 ✔。
四、三个反模式
- 一个人一个算法 ✗（同一指标两种结果 ✔）；
- 口径写在某人脑子里 ✗（他休假就没人说得清 ✔）；
- 为了好看悄悄改口径 ✗（这是最坏的 ✔）。
五、一条判据
让两个人独立按文档算同一个指标 ✔，结果一致吗 ✔？
不一致，说明口径还没写清 ✗。