标注质量决定上限
模型再好，标注错了也白搭。标注环节最常见的三个问题：标准含糊、单人判断、没有质检。
这一篇给一套能落地的小团队流程。
一、先写判定标准，再动手
- 明确"对 / 部分对 / 错"分别是什么，并各配一个例子；
- 边界情况单独列（"答对了但没引用来源"算不算对？）；
- 标准要能被别人独立执行 —— 如果两个人读同一段话会得出不同结论，就是标准没写清。
二、双人标注与一致性
- 抽 10%~20% 双人标注，统计一致率；
- 不一致的地方不是"谁错了"，而是标准缺定义 → 先改标准，再继续标；
- 一致率低（例如 <80%）说明任务本身需要拆分或换判定方式（例如改成"成对比较"）。
三、把"依据"记下来
只记对错，出问题无法定位。建议每条至少记：
- 判定结论 + 一句话依据（例如"漏了条款 3.2"）；
- 难度/置信度（便于后续分层分析）；
- 标注人（不是为了追责，而是为了发现"某人的标准理解不同"）。
四、质检与防漂移
- 每周抽 5%~10% 复核（复核人也标，比较一致率）；
- 关注标注漂移：同一个人几周后对同类样本的判断是否变化；
- 用金标准样本（公认答案）定期测标注人，防止标准被慢慢拉偏。
五、交给谁标
- 领域任务尽量给懂业务的人（模型评测里的"正确"常常是业务判断）；
- 生成类任务优先用成对比较（A/B 哪个更好）而不是绝对打分 —— 前者一致率通常高得多；
- 标注量大时，先做小批试标 + 校准，再放量（避免整批返工）。
一个最小可用流程
- 写标准 + 各配一例（半天）；
- 试标 30 条，双人重叠 10 条，算一致率，改标准；
- 全量标注，记录结论 + 依据 + 置信度；
- 每周抽检 5%，维护金标准样本；
- 把最终样本冻结成评测集版本（含标准原文），供回归使用。