不一致不是谁错了，而是标准缺定义——先改标准。
标注质量决定上限
模型再好，标注错了也白搭。标注环节最常见的三个问题：标准含糊、单人判断、没有质检。
这一篇给一套能落地的小团队流程。
一、先写判定标准，再动手
· 明确"对 / 部分对 / 错"分别是什么，并各配一个例子；
· 边界情况单独列（"答对了但没引用来源"算不算对？）；
· 标准要能被别人独立执行 —— 如果两个人读同一段话会得出不同结论，就是标准没写清。
二、双人标注与一致性
· 抽 10%~20% 双人标注，统计一致率；
· 不一致的地方不是"谁错了"，而是标准缺定义 → 先改标准，再继续标；
· 一致率低（例如 <80%）说明任务本身需要拆分或换判定方式（例如改成"成对比较"）。
三、把"依据"记下来
只记对错，出问题无法定位。建议每条至少记：
· 判定结论 + 一句话依据（例如"漏了条款 3.2"）；
· 难度/置信度（便于后续分层分析）；
· 标注人（不是为了追责，而是为了发现"某人的标准理解不同"）。
四、质检与防漂移
· 每周抽 5%~10% 复核（复核人也标，比较一致率）；
· 关注标注漂移：同一个人几周后对同类样本的判断是否变化；
· 用金标准样本（公认答案）定期测标注人，防止标准被慢慢拉偏。
五、交给谁标
· 领域任务尽量给懂业务的人（模型评测里的"正确"常常是业务判断）；
· 生成类任务优先用成对比较（A/B 哪个更好）而不是绝对打分 —— 前者一致率通常高得多；
· 标注量大时，先做小批试标 + 校准，再放量（避免整批返工）。
一个最小可用流程
1. 写标准 + 各配一例（半天）；
2. 试标 30 条，双人重叠 10 条，算一致率，改标准；
3. 全量标注，记录结论 + 依据 + 置信度；
4. 每周抽检 5%，维护金标准样本；
5. 把最终样本冻结成评测集版本（含标准原文），供回归使用。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：给 AI 功能定预算：成本与延迟两条线怎么设
下一篇：多模型路由：把成本花在刀刃上 →
第 35 / 171 篇