让两个人独立按文档算同一指标，结果一致吗？
指标说不清口径，就没法比
"正确率 85%" ✔ —— 哪个正确率 ✔？谁来判 ✔？分母是什么 ✔？
口径不清的指标，跨周不可比、跨人不可复现 ✗，等于没有指标 ✔。
把口径写下来 ✔（一张小卡片 ✔），应成为评测脚本的注释与文档的附录 ✔。
一、每个指标要写清五件事
```
① 定义（一句话，可判定 ✔）
② 分子/分母（怎么算 ✔）
③ 数据来源（哪批样本、哪个集合 ✔）
④ 判定方式（规则 / 人工 / 模型打分 ✔ —— 谁判的 ✔）
⑤ 排除项（哪些样本被剔除、为什么 ✔）
```
第 ⑤ 项最常被省 ✗ —— 剔除规则不写清，等于可以"调指标" ✔。
二、常见指标的推荐口径
| 指标 | 推荐口径 |
|---|---|
| 正确率 | 判定为"对"的条数 / 全部有效样本（排除输入无效的 ✔） |
| 格式合规率 | 通过 schema 校验的条数 / 全部调用（含失败 ✔） |
| 该拒答却作答率 | 资料不足样本中给出确定断言的条数 / 资料不足样本总数 ✔ |
| 引用一致率 | 引用与结论相关的条数 / 有引用的条数 ✔ |
| 单位成本 | 总成本 / 成功调用数（不含失败 ✔ 还是含，要写明 ✔） |
注意 ✗：单位成本的分母写"全部调用"还是"成功调用"，会让数字差很多 ✔ ——
必须写明 ✔（我见过两个团队因此争论半天 ✔）。
三、口径变更要留痕
· 改口径 = 指标不可与历史直接比 ✔ → 必须标注"口径已变" ✔；
· 最好做法：新增口径而不是修改旧口径 ✔（两套并行一段时间 ✔）；
· 变更记录进评测脚本注释与变更说明 ✔。
四、三个反模式
· 一个人一个算法 ✗（同一指标两种结果 ✔）；
· 口径写在某人脑子里 ✗（他休假就没人说得清 ✔）；
· 为了好看悄悄改口径 ✗（这是最坏的 ✔）。
五、一条判据
> 让两个人独立按文档算同一个指标 ✔，结果一致吗 ✔？
> 不一致，说明口径还没写清 ✗。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：AI 输出的可读性：结构、长度与重点
下一篇：把检索日志用起来：从查询分布发现内容缺口 →
第 129 / 171 篇