标签 · 评测

标注质量怎么做稳：标准、一致性与质检

标注质量决定评测上限。本文给出一套小团队可落地的流程：先写判定标准、双人标注算一致性、记录判定依据、每周抽检与金标准防漂移，以及一个最小可用流程。

上线后的第一周：AI 功能该盯什么

AI 功能上线第一周最容易出成本失控、延迟飙升与坏输入打崩。本文给出上线前必备四件事、每天该看的指标、三个典型事故与对应防线，以及第一周结束时应能回答的问题。

把检索做成可评测的：召回、排序与答案三段分开测

检索效果要拆成召回、排序、答案三段分别评测，各自有指标与修法。本文给出每段的构造方法（含应命中片段标注）、三段分开测的收益与最小落地流程。

上线前的红队检查：AI 功能该测哪些「坏输入」

红队检查是主动构造坏输入，看系统会不会泄露、越权、被带偏或崩溃。本文列出六类坏输入（含最危险的间接注入）、为什么每条都要先写期望行为，以及一份可直接抄的检查清单

把提示词改动做成可复现的对照实验

提示词改一句措辞，效果是变好还是变坏？本文给出四步做法（固定评测集与判定标准、一次只改一个变量、成对比较、记录可复现信息）、五个常见误判与最小执行流程。

把评测集接进流水线：让退化在合并前就被拦下

评测集建好后最怕没人在跑。本文给出三条流水线（冒烟/完整/夜间）、写进配置的判定规则、三个工程细节与四个常见坑，让指标退化在合并前被拦下。

检索结果怎么排序：相似度不是唯一信号

向量检索默认按相似度排序，但「有用」还取决于时效、权威、覆盖与多样性。本文给出可配置的加权排序公式、去重与多样性重排的做法、四个常见错误，以及验证排序改动的最小

AI 功能的 A/B 测试怎么做才可信

AI 功能的 A/B 测试常不可信：模型会变、指标滞后、方差大。本文给出必须先定的五件事（实验单位、指标口径、版本冻结、样本量、判定规则）与三种更适合 AI 的

AI 功能的埋点与看板：该记录哪些字段

AI 功能埋点要能回答谁在用、用得好不好、错在哪里、花了多少钱。本文列出该记的字段（基础/调用/质量/成本）、三张必备看板与四个常见坑，并给出落地顺序。

检索质量差，先别怪模型：文档解析与切分的五个检查点

检索效果差常源于文档形态错误：表格丢失、标题压平、半句切分。本文给出五个检查点（解析忠实度、切分语义、块大小分布、元数据、可引用性）与最小验收流程。

多轮对话的上下文管理：摘要、锚点与按需检索

长对话里模型忘记前文，本质是上下文管理问题。本文讲清滚动摘要、关键事实锚点表、按需检索历史三种手段，以及该丢什么、该留什么与该测什么。

提示词版本管理：把提示词当代码来管

提示词散落在文档与聊天记录里，出问题就无法归因。本文给出五件必做事（进版本库、带版本号、参数化、配评测集、灰度发布）、目录结构建议与常见反模式。

给 AI 功能做降级设计：上游挂了，用户还能用

线上 AI 功能最常见的故障是上游不可用。本文给出四层降级（重试切换、换小模型、规则兜底、明确不可用）、三条常见误区，以及把降级写进产品与监控的具体做法。

评测集怎么建才可信：抽样、标注与回归三道关

评测集的质量决定优化方向。本文讲清三道关：抽样要覆盖真实分布、标注要定义清楚、回归要固定不变；并给出小团队也能落地的规模与流程建议。

上下文窗口不是越大越好：长上下文里的「中间遗忘」与应对

把资料全塞进超长上下文，常常不如少而准地检索。本文讲清「中间遗忘」现象、它在工程上的表现，以及定位信息、分块摘要、分段提问三类可落地做法。

模型为什么会「编」：三类幻觉成因与可落地的抑制手段

把幻觉当成单一故障会修错方向。本文按「知识缺失 / 上下文冲突 / 任务越界」三类成因拆开，各给可落地的抑制手段，并说明哪些手段只是把错误变成「不确定」。

语音模型跨语言表现的关键变量：语言判别能力

研究发现语言判别能力与多语言语音模型的跨语言表现强相关：判别更准的模型在转写与语义理解上同时更好，这为工程改进指出了具体位置。