第一周结束要能拿出一个数字与 10 条失败样例。
从零建评测集：别追求一次做全
最常见的失败是把"建评测集"当成一个大项目 ✗：先定规范、再写工具、再找标注 ✔ ——
两周一过还没跑起来 ✔，热情就没了 ✔。
正确做法是第一周就跑起来一个"很糙但能用"的版本 ✔，然后每周迭代 ✔。
第一天：50 条样本 + 一个判定标准
· 从真实日志里挑 50 条（不要凭空想 ✗）；
· 每条写期望行为（不是"标准答案" ✔ —— 生成类任务很难有唯一答案 ✔）；
· 判定标准先写三档：好 / 可接受 / 不可接受 ✔（比"对错"更容易达成一致 ✔）。
不要等标注规范完美 ✗ —— 先标 50 条，规范会在标注过程中自然清晰 ✔。
第二天：跑起来 + 出第一个数字
· 写一个最小脚本：读样本 → 调系统 → 按标准判 → 输出"可接受率" ✔；
· 别做看板 ✗（先出数字 ✔）；
· 记录基线 ✔（后面所有对比都基于它 ✔）。
第三~五天：扩到 150 条 + 加失败类型
· 补充边界样本（空输入、超长、信息不足 ✔）；
· 加上失败类型统计 ✔（见失败分类那篇 ✔）；
· 把"信息不足"单独算一类 ✔（看它会不会编 ✔）。
第二周：接进流水线 + 定 owner
· 接进 CI，冒烟集 30 条、1 分钟内跑完 ✔（见评测接进 CI ✔）；
· 指定 owner ✔（负责样本保鲜与季度校准 ✔ —— 见评测组织能力那篇 ✔）。
三个"别做"
· 别等规范完美 ✗（先跑起来 ✔）；
· 别追求样本量大 ✗（150 条能跑、能对比，胜过 5000 条躺在 Excel 里 ✔）；
· 别只做一次 ✗（每周补充新样本才有效 ✔）。
一条判据
> 第一周结束时，你能否拿出一个数字（可接受率）与10 条失败样例 ✔？
> 不能，说明还在"准备阶段" ✗，而不是在建评测集 ✔。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：检索体检十问：先别急着换模型
下一篇：AI 功能的错误码设计：给机器看也给用户看 →
第 115 / 171 篇