文档库也需要"质量分"
RAG 的效果上限由资料质量决定 ✔。但多数团队只优化模型与提示词 ✗,
从不看"文档本身好不好用" ✔ —— 于是永远在修下游 ✔。
给文档打质量分 ✔,就能把优化力气花在真正薄弱的资料上 ✔。
一、五个可自动计算的维度
① 完整性:是否包含常见问题所需的关键信息(用查询日志对照,见检索日志那篇)
② 结构:标题层级是否清晰、是否有分节(层级乱的文档切分后很碎)
③ 时效:最后更新时间、是否已被新版替代(见版本那篇)
④ 可检索性:能否被常见问法命中(用真实 query 抽样测)
⑤ 规范:术语是否统一、是否含大量图片/表格而缺文字说明
第 ④ 项最有价值 ✗→✔:把真实查询拿来测"这份文档能不能被搜到" ✔ ——
这是直接的效果指标 ✔,而不是间接的结构指标 ✔。
二、怎么打分(别搞复杂)
- 每项 0~2 分(差/一般/好 ✔)× 权重 ✔ → 总分 10 分 ✔;
- 只分三档(好 / 一般 / 待改 ✔)—— 分太细没人看 ✗;
- 按月更新 ✔(文档在变 ✔)。
示例 ✔:
《退款政策 v3》 8/10 好 (建议:补一段时效说明)
《产品手册 2022》 3/10 待改 (时效 0 分,已被新版替代)
三、分数要变成行动
| 分数 | 动作 |
|---|---|
| 好(≥7) | 保持,纳入"可信来源"白名单 ✔ |
| 一般(4~6) | 排期待改(补结构/补说明 ✔) |
| 待改(≤3) | 优先:要么修,要么从检索范围里移出 ✔ |
关键:低分文档不修就该移出 ✗→✔ ——
留着它只会让检索命中坏资料 ✔(比"没有资料"更糟 ✔)。
四、三个反模式
- 只看文档数量 ✗(1000 份烂文档不如 100 份好文档 ✔);
- 分数只算不用 ✗(没有对应动作 ✔);
- 让模型给文档打分 ✗(不可复现、不可解释 ✔)→ 用可计算的规则 ✔。
一条判据
你能否说出当前最该修的 3 份文档 ✔ 以及它们各自的问题 ✔?
说不出,说明文档库还没有质量视角 ✗。