说不出「召回提升 X 点对应业务变化 Y」，就无法证明投入价值。
检索做得好，业务就一定会好吗
不一定 ✔。检索质量是中间指标 ✔，业务结果是最终指标 ✔，两者之间隔着一层：
用户是否采纳、是否因此少打了一个电话、是否更快解决问题 ✔。
把中间指标接到业务指标 ✔，才能回答"这套投入值不值" ✔。
一、先画一条链（四层）
```
① 检索层：召回率、命中位次、片段质量 ✔
② 答案层：正确率、引用一致率、该拒答却作答率 ✔
③ 使用层：采纳率、修改率、追问率、转人工率 ✔
④ 业务层：处理时长、一次解决率、成本/单、满意度 ✔
```
每层都要有指标 ✗→✔：只测第 ① 层，无法判断投入价值 ✔；
只测第 ④ 层，出了问题无法归因 ✔。
二、四层之间的"假设"要写下来
例如 ✔：
```
假设：召回率提升 10 个点 → 答案正确率提升 5 个点
→ 采纳率提升 3 个点 → 平均处理时长下降 8%
```
写下来才能验证 ✔（见对照实验那篇 ✔）；不写下来，就只能在汇报时"感觉有提升" ✗。
三、怎么验证（别只看相关性）
· 逐层看变化（召回涨了但答案没涨 → 说明瓶颈不在检索 ✔）；
· 做小规模对照（A/B 或前后对比，含区间 ✔）；
· 看"采纳率"这类使用层指标（它比满意度更客观 ✔）；
· 业务层要有基线（改之前先量一遍 ✔ —— 否则无法比较 ✔）。
四、两个常见误判
· 过度优化中间指标 ✗（召回从 85% 提到 92%，但用户感知没变 ✔）→ 该停下来 ✔；
· 只看业务指标 ✗（业务波动受很多因素影响，无法归因到检索 ✔）。
平衡点：中间指标做日常优化向导 ✔，业务指标做季度价值判断 ✔。
五、一个务实起点
```
① 先把"采纳率"量出来（用户是否用了 AI 给的结果 ✔）—— 最容易也最有说服力
② 再把"处理时长"或"一次解决率"量出来（业务基线 ✔）
③ 然后才有资格说"检索优化带来的价值" ✔
```
一条判据
> 你能否说出"召回率提升 X 个点，对应业务指标变化 Y" ✔？
> 说不出，说明指标链还没打通 ✗（投入价值无法证明 ✔）。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：把模型输出接进报表：结构化数据的流转
下一篇：AI 项目的团队分工：谁负责提示词、谁负责评测 →
第 133 / 171 篇