最坏的一类是「伪装拒答」：说无法确定，紧接着给一段编造内容。
拒答与澄清也是"正确的输出"
评测里最常见的偏差是：只统计"答对率" ✗，把"该拒答却答了"和"该澄清却硬答"都算成错误的一部分 ✗，
于是团队会朝"少拒答"优化 ✗ —— 这会把系统推向更爱编 ✗。
正确的做法是把输出分成四类，分别统计 ✔：
1. 正确作答（有依据、内容对）；
2. 正确拒答（资料不足，明确说"没有找到"）；
3. 正确澄清（问题模糊，先问关键限定）；
4. 错误作答 / 错误拒答 / 该澄清却硬答。
关键指标是两个"误导率" ✔：
· 该拒答却作答率（资料不足却给了像样的答案 —— 最危险 ❗）；
· 该作答却拒答率（明明有资料却说不知道 —— 用户会觉得没用 ❗）。
怎么构造这两类样本
· 该拒答类：问题涉及资料里确实没有的内容（不要问"无关话题"，要问"相关但未覆盖" ✔）；
· 该澄清类：问题缺少关键限定（时间、范围、对象），看它是否询问而不是假设 ✗；
· 该作答类：资料里明确有答案（用来测过度拒答 ✗）。
每类 20~30 条就能看出趋势 ✔。
常见的两个失败模式
· 过度拒答：保守的提示词 + 高阈值检索 → 什么都说"未找到" ✗ → 用户流失 ✔；
· 伪装拒答：说"根据资料无法确定"，但紧接着给了一段编造内容 ✗ → 这是最坏的一类 ✗，
评测必须检查拒答之后有没有继续断言 ✔。
判据要写进评测标准
```
正确拒答 = 明确说明资料不足 + 不给出未支持的结论 + 给出可行的下一步（可选）
正确澄清 = 提出 1~2 个关键限定问题，且不预设答案
```
没有把"拒答/澄清"单列出来的评测集，会系统性高估系统能力 ✗。
与产品侧的对齐
· 界面要把"未找到"做成正常状态（不是错误 ✗），并给出替代路径（换关键词、放宽范围）；
· 但也不能鼓励一问就拒答 ✗ → 用过度拒答率做护栏 ✔；
· 两个指标一起看，才能把系统调到"该说的敢说、不该说的不编" ✔。
落地顺序
1. 先给现有评测集补标注（每条标"应为哪一类"）；
2. 加两个误导率指标；
3. 把"拒答类/澄清类"样本加进流水线（见评测接进 CI 那篇 ✔）。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：AI 功能的「可解释」：该解释什么、不该解释什么
下一篇：把上下文做成可组装的：模板化提示词工程 →
第 50 / 171 篇