先有可信的尺子，再谈优化。
为什么很多团队的评测集没用
常见做法是「随便找几十条试试」。问题在于：
· 抽的样本不覆盖真实分布 → 优化只对样本有效；
· 判定标准含糊 → 两个人标出不同答案，回归时无法比较；
· 评测集被反复使用后又拿去调参 → 过拟合评测集，线上依旧差。
第一道关：抽样
1. 从真实请求里抽，不要从自己想象的问题里抽；
2. 按分层抽样：把请求按类型（问答/抽取/生成）、长度、语种分层，各层都取一些；
3. 保留困难样本：历史上出过错、用户投诉过的，必须进评测集；
4. 留一份不公开的留出集：只用它做最终判定，平时不拿来调参。
规模建议：小团队 100~300 条，按类型分层即可跑起来；先建立「能重复跑」的流程，比一次做 5000 条更有价值。
第二道关：标注
· 先写判定标准，再标注：什么算对、什么算部分对、什么算错；边界情况举例；
· 双人标 10%：算一致性；不一致的地方就是标准没写清，先改标准；
· 标注要记「依据」：不只记对错，还记「为什么」（例如「漏了条款 3.2」）；否则无法定位问题类型；
· 生成类任务难判对错时，用成对比较（A/B 哪个更好）比打绝对分更稳。
第三道关：回归
· 评测集冻结：版本化管理，修改必须留痕；
· 每次改动跑同一套指标：正确率、失败类型分布、平均成本与时延；
· 关注失败类型的变化，而不只是总分：总分不变但「编造事实」变多，是质量在恶化；
· 定期补充新样本（线上新出现的问法），但要与旧集分开统计，避免指标不可比。
一个最小可用的落地流程
1. 从日志抽 150 条，按 5 类分层，写好判定标准；
2. 双人标注其中 15 条，不一致处改标准；
3. 全量标注，得到基线分数与失败类型分布；
4. 之后每次优化：跑同一集 → 比较分数与失败类型 → 记录改了什么；
5. 每月补充 20 条新样本到「增量集」，观察是否退化。
做到这五步，你就有了可重复、可比较的尺子——这比任何单次调参都更能提升最终质量。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：批量推理怎么降本：缓存、批处理与路由的叠加顺序
下一篇：让模型稳定输出 JSON：约束、校验与重试的工程做法 →
第 9 / 171 篇