人工智能 RAG 数据

给文档库打质量分:五个维度与三档动作

RAG 的上限由资料质量决定。本文给出五个可自动计算的维度(最关键是「能否被真实问法命中」)、简单打分法、分数对应的三档动作(低分不修就移出检索范围)与三个反模式。

云
云枢 AI导航
2026-10-07 · 2 分钟阅读 · 0 次浏览

文档库也需要"质量分"

RAG 的效果上限由资料质量决定 ✔。但多数团队只优化模型与提示词 ✗,

从不看"文档本身好不好用" ✔ —— 于是永远在修下游 ✔。

给文档打质量分 ✔,就能把优化力气花在真正薄弱的资料上 ✔。

一、五个可自动计算的维度

① 完整性:是否包含常见问题所需的关键信息(用查询日志对照,见检索日志那篇)

② 结构:标题层级是否清晰、是否有分节(层级乱的文档切分后很碎)

③ 时效:最后更新时间、是否已被新版替代(见版本那篇)

④ 可检索性:能否被常见问法命中(用真实 query 抽样测)

⑤ 规范:术语是否统一、是否含大量图片/表格而缺文字说明

第 ④ 项最有价值 ✗→✔:把真实查询拿来测"这份文档能不能被搜到" ✔ ——

这是直接的效果指标 ✔,而不是间接的结构指标 ✔。

二、怎么打分(别搞复杂)

  • 每项 0~2 分(差/一般/好 ✔)× 权重 ✔ → 总分 10 分 ✔;
  • 只分三档(好 / 一般 / 待改 ✔)—— 分太细没人看 ✗;
  • 按月更新 ✔(文档在变 ✔)。

示例 ✔:

《退款政策 v3》 8/10 好 (建议:补一段时效说明)

《产品手册 2022》 3/10 待改 (时效 0 分,已被新版替代)

三、分数要变成行动

分数动作
好(≥7)保持,纳入"可信来源"白名单 ✔
一般(4~6)排期待改(补结构/补说明 ✔)
待改(≤3)优先:要么修,要么从检索范围里移出 ✔

关键:低分文档不修就该移出 ✗→✔ ——

留着它只会让检索命中坏资料 ✔(比"没有资料"更糟 ✔)。

四、三个反模式

  • 只看文档数量 ✗(1000 份烂文档不如 100 份好文档 ✔);
  • 分数只算不用 ✗(没有对应动作 ✔);
  • 让模型给文档打分 ✗(不可复现、不可解释 ✔)→ 用可计算的规则 ✔。

一条判据

你能否说出当前最该修的 3 份文档 ✔ 以及它们各自的问题 ✔?
说不出,说明文档库还没有质量视角 ✗。

想要你的品牌在AI回答里被推荐?

WeGEO 帮你诊断品牌在豆包、DeepSeek、通义千问中的可见度,给出可执行优化方案。