标签 · 评测

把用户报告变成可复现用例：四步转换

投诉不是待办而是用例。本文给出四步转换（还原/缩小/定期望/入库）、三类用户报告各自的处理（体验问题也要转成指标）、四个纪律与三个反模式。

成本与质量曲线：找到最优点

成本与质量是收益递减关系。本文给出画曲线的三步、四种典型形态与判断、找到最优点之后要做的三件事与三个反模式。

沉默失败：最危险的失败是没有报错

有一类失败不产生错误。本文给出六种沉默失败（空结果/空洞答案/静默降级/静默截断/默认值兜底/部分成功）、五个守卫与阈值、为什么指标正常也会出事与三个反模式。

改 A 坏了 B：横向回归怎么发现

回归是最难发现的退化。本文给出要同时看的三类指标（目标/守卫/全局）、评测集的横向覆盖做法、三个实操建议与三个反模式。

让 AI 逻辑可单测：把可测的部分拆出来

「AI 没法测」是借口，大部分逻辑可测。本文给出四类可拆分的部分与测法、三个具体做法（注入假客户端/提示词快照/真实输出夹具）、快照测试的注意点与判断标准。

把事故复盘连到评测：四步与三类事故

复盘结论停在文档里，同类事故还会再来。本文给出四步连接法（重点：缩减到最小复现输入）、三类事故各自的用例形式（体验类也要连）、让连接成为流程的做法与三个反模式。

错误预算：允许错多少、超了怎么办

没有可接受的错误水平，每次出问题都在争「算不算严重」。本文给出定预算的三条依据、预算的两种用法、与发布门禁的分工与三个反模式。

输入分布漂移监控：指标没变但效果在变

输入分布在悄悄变化，导致效果变化却找不到原因。本文给出该监控的四类分布、怎么判定「变了」（基线/分位数/阈值）、发现漂移后的四步处理与三个反模式。

把评测结论写进发布说明

发布说明常写无法验证的话。本文给出一条发布说明该有的六项（重点是评测结论）、评测结论的三条写法（带基线/带不确定/带失败类型变化）与三个反模式。

把踩过的坑固化成边界用例库

结论要变成可执行的检查。本文给出一条用例该有的五样东西（含「曾经的错误行为」）、用例的四个来源、让它不腐烂的四个做法与三个反模式。

AI 项目的团队分工：谁负责提示词、谁负责评测

责任真空是 AI 项目的常见病。本文给出四个角色与职责边界、三样必须有唯一负责人的东西、三个协作固定动作、三个反模式与小团队最小配置。

AI 功能的可用性测试：五个任务怎么做

可用性测试比指标更接近真实体验。本文给出任务该怎么写成目的语、五个任务怎么选、该观察什么（不要引导）、五个人样本够不够与测完该做什么。

把评测口径写下来：指标定义与计算方式

口径不清的指标等于没有指标。本文给出每个指标要写清的五件事（重点：排除项）、常见指标的推荐口径、口径变更的留痕做法与三个反模式。

AI 功能的季度体检：八项检查与一份短文档

AI 系统会缓慢退化，周指标看不出来。本文给出八项季度检查（质量/成本/延迟/评测集/文档/依赖/护栏/合规）、三个必看变化、体检产出的四项与两个反模式。

把评测接进日常：四种改动各自的检查清单

忙碌时最先省掉的就是评测。本文给出四类改动（提示词/换模型/改检索/改默认值）各自的检查清单、让清单真正被执行的四个做法与三个反模式。

从零建评测集：第一周该做什么

把建评测集当大项目，两周都跑不起来。本文给出第一周的日程（第一天 50 条样本、第二天出第一个数字、到第五天扩到 150 条并加失败类型、第二周接流水线定 ow

检索体检十问：先别急着换模型

检索出问题时先自查。本文给出十个问题（召回/排序/截断/去重/元数据/新鲜度/版本/例外/该拒答/归因）与使用方法，八成能找到比换模型更根本的原因。

把重复问题聚类：从处理个案到修一类问题

聚类能把个案处理变成系统修复。本文给出三种聚类粒度与建议顺序、每个簇要给出的五项、三个高频系统性根因（多不是模型问题）与一周半小时的持续做法。