人工智能 评测 安全

评测里最容易被忽略的一类:拒答与澄清

拒答与澄清也是正确输出。本文给出四类输出与两个误导率(该拒答却作答、该作答却拒答)、样本构造方法、两种失败模式、判据写法与落地顺序。

云
云枢 AI导航
2026-10-07 · 3 分钟阅读 · 0 次浏览

拒答与澄清也是"正确的输出"

评测里最常见的偏差是:只统计"答对率" ✗,把"该拒答却答了"和"该澄清却硬答"都算成错误的一部分 ✗,

于是团队会朝"少拒答"优化 ✗ —— 这会把系统推向更爱编 ✗。

正确的做法是把输出分成四类,分别统计 ✔:

  • 正确作答(有依据、内容对);
  • 正确拒答(资料不足,明确说"没有找到");
  • 正确澄清(问题模糊,先问关键限定);
  • 错误作答 / 错误拒答 / 该澄清却硬答。

关键指标是两个"误导率" ✔:

  • 该拒答却作答率(资料不足却给了像样的答案 —— 最危险 ❗);
  • 该作答却拒答率(明明有资料却说不知道 —— 用户会觉得没用 ❗)。

怎么构造这两类样本

  • 该拒答类:问题涉及资料里确实没有的内容(不要问"无关话题",要问"相关但未覆盖" ✔);
  • 该澄清类:问题缺少关键限定(时间、范围、对象),看它是否询问而不是假设 ✗;
  • 该作答类:资料里明确有答案(用来测过度拒答 ✗)。

每类 20~30 条就能看出趋势 ✔。

常见的两个失败模式

  • 过度拒答:保守的提示词 + 高阈值检索 → 什么都说"未找到" ✗ → 用户流失 ✔;
  • 伪装拒答:说"根据资料无法确定",但紧接着给了一段编造内容 ✗ → 这是最坏的一类 ✗,

评测必须检查拒答之后有没有继续断言 ✔。

判据要写进评测标准

正确拒答 = 明确说明资料不足 + 不给出未支持的结论 + 给出可行的下一步(可选)

正确澄清 = 提出 1~2 个关键限定问题,且不预设答案

没有把"拒答/澄清"单列出来的评测集,会系统性高估系统能力 ✗。

与产品侧的对齐

  • 界面要把"未找到"做成正常状态(不是错误 ✗),并给出替代路径(换关键词、放宽范围);
  • 但也不能鼓励一问就拒答 ✗ → 用过度拒答率做护栏 ✔;
  • 两个指标一起看,才能把系统调到"该说的敢说、不该说的不编" ✔。

落地顺序

  • 先给现有评测集补标注(每条标"应为哪一类");
  • 加两个误导率指标;
  • 把"拒答类/澄清类"样本加进流水线(见评测接进 CI 那篇 ✔)。

想要你的品牌在AI回答里被推荐?

WeGEO 帮你诊断品牌在豆包、DeepSeek、通义千问中的可见度,给出可执行优化方案。