标签 · 评测

把评测失败分类成可行动的类型

失败不分类就只能一条条看。本文给出一张 8~12 类的失败类型表、每类对应的修复方向（重点区分「事实错误」与「编造」）、让分类被执行的四个动作与三个反模式。

模型能力的可用区间：什么时候该说超出范围

每个模型都有能做好的区间。本文给出画可用区间的四步、区间外主动说不的三种做法、三种边界类型（能力/数据/合规）与各自的提示语、边界随版本更新的要求与该观测的指标

AI 功能怎么验收：把验收标准写进需求

验收标准必须在开工前写好且可测。本文给出四级结构（功能/质量/性能/边界）、阈值怎么定、三次检查时点、不通过怎么办与三个反模式。

把评测指标接进发布门禁：哪些指标不允许退化

只在有空时跑评测，质量会慢性退化。本文给出该进硬门禁的五类指标与方向、只该提醒的指标、门禁的三个工程细节（与上版比、冒烟集要小、假红要处理）与人工门。

把评测做成可复跑的脚本，而不是一份文档

写在文档里的评测等于没有评测。本文给出评测脚本的四个部分（样本/调用/判定/报告）、三条硬性要求（可复跑/可对比/可存档）、把人工判定纳入流程的做法，以及评测脚

从日志到洞察：每周该看的三张表

AI 系统通常日志很多但洞察很少。本文给出每周固定要看的三张表（质量/成本/失败）、每张该看什么、三条纪律，以及不等数据平台的起步方法。

把评测做成组织能力：谁来写、谁来跑、谁来读

评测不能是一次性项目。本文给出三个角色的分工（业务写样本与标准、工程接流水线、业务+管理每周读）、让评测活起来的四个机制与一个小团队最小落地方案。

灰度期间盯什么：四组指标与写死的回滚阈值

灰度只看错误率会漏掉质量与成本退化。本文给出四组指标（可用性/质量/成本/影响面）与建议回滚阈值、事先写死判据、阶梯节奏与自动检查、三个反模式与可直接抄的上线判

把「不确定性」传给下游：置信、区间与拒答

AI 输出天然不确定，不传出去下游只能猜。本文给出三种表达粒度、该显式区分的四种状态、数值要给区间、拒答要写「怎样能成功」，以及三个反模式与一条判据。

用线上反馈改进系统：回填成评测与标注资产

线上反馈是最便宜的高质量数据，但默认是散的。本文给出可回填的三类资产、五步回填流程（采样/确认/脱敏/入库/闭环）、避免评测集被线上污染的分区做法与四个常见错误

把评测结果做成能看懂的报表：三张图与三条纪律

评测扎实但决策者看不懂，等于没做。本文给出给决策者的三张图（质量趋势、改动对照、成本-质量散点）、三条呈现纪律与一份报告的最小结构。

把检索质量做成可回归的：黄金集与定期抽样

检索质量会随文档、切分、模型、索引悄悄退化。本文给出黄金集的做法（20~50 题、冻结、覆盖查询类型）、每次必跑的三个指标、定期从真实流量抽样的流程、四种常见退

小样本下的效果判断：什么时候该说「看不出来」

小样本上 70%→75% 多半只是噪声。本文给出样本量的量级估算、三条实用判据（净胜数/区间/失败类型）、何时该说看不出、小样本仍能做的判断，以及避免自欺的团队

评测里最容易被忽略的一类：拒答与澄清

拒答与澄清也是正确输出。本文给出四类输出与两个误导率（该拒答却作答、该作答却拒答）、样本构造方法、两种失败模式、判据写法与落地顺序。

影子模式：新版先暗跑，再决定要不要切

影子模式让新版本在不影响用户的前提下先跑。本文给出三种形态、双跑该比的五项、成本与并发翻倍的提醒、事先写死的上线判据，以及两个常见陷阱与落地顺序。

提示词里的「角色」设定到底有没有用

角色设定能稳定改变语气与视角，但很少改变事实正确性。本文给出角色真正有用的三种场景、几乎没用的三种场景、写法要点，以及如何用对照实验如实验证它的效果。

合成数据能不能用：三种用法与三条红线

合成数据能补边界样本，但会污染评测。本文给出三种合理用法、三条红线（不当事实集/不自评/不混真实数据）、必做的来源标注与抽检，以及验证它是否真帮上忙的方法。

把用户反馈做成闭环：收集、分类、归因、回归

用户反馈要接请求 id、分成有限几类、按成本从低到高归因、每次修复转成评测样本。本文给出五步闭环、两个该定期看的变化，以及一周可跑起来的最小闭环。