选型指南 架构设计 含可复制代码

混合检索为什么比纯向量检索更稳:关键词与向量的分工

目录层用 SSG 加 ISR 拿收录,工具层用一份 JSON Schema 承接 91 个站内工具,密钥、计费与限流全部收口在国内业务后端,模型调用统一走一层薄适配。这篇把我们真实的目录结构、Schema 字段定义、路由闸门、预扣结算伪代码和合规清单完整摊开。

陈
陈默架构组
2026-09-28 · 14 分钟阅读 · 8,432 次浏览

语义相近与字面命中是两种不同的能力,单靠一路总会在某一类查询上掉分。

两种检索各自擅长什么

向量检索把文本压成向量,比的是语义距离:问「怎么压缩图片体积」,它能召回讲「减小图片文件大小」的段落,即使两者没有一个字相同。

代价是:它对精确字面不敏感。查产品编号、错误码、罕见专有名词时,向量可能把「长得像」的内容排在前面,而把真正包含那个编号的段落漏在后面。

关键词检索(BM25 一类)恰好相反:它统计词频与逆文档频率,字面命中权重高,查编号、查术语一次就中;但它不理解同义改写,问「减小文件大小」就找不到只写「压缩图片体积」的段落。

混合检索的做法

1. 两路召回:同一个查询分别走向量与关键词检索,各取前 N 条(例如各 50 条);

2. 分数归一化:两路分数量纲不同,必须先归一化(或改用排名倒数 RRF),否则一路会凭数值大小压倒另一路;

3. 合并去重:按文档 ID 合并,同一篇被两路都召回的,通常更可信;

4. 重排(可选):用更贵的模型对合并后的候选做精排,取最终前 K 条。

三种合并方式的取舍

· 加权求和:实现最简单,但权重需要按语料调,换一个语料往往要重调;

· RRF(排名倒数融合):只用排名不用分数,跨路可比、免调参,工程上最省心,缺点是丢掉了分数强弱信息;

· 学习式融合:效果上限更高,但需要标注数据与持续维护,小团队往往不划算。

常见坑

· 只调一路:把权重压到 0.9 以上,等于退化成单路检索,混合的意义就没了;

· 忘了归一化:向量余弦相似度多在 0.7~0.9,BM25 分数动辄几十,直接相加等于只看 BM25;

· 切分粒度不一致:两路用不同切分,合并时对不上同一段落,去重会失效;

· 把重排当召回:重排只能在候选里选,候选阶段漏掉的文档,后面再贵也找不回来。

什么时候不必上混合

如果查询几乎都是自然语言长问句、语料里也少有编号与专有名词,纯向量检索通常够用。先看真实查询日志再决定,不要因为「混合听起来更强」就默认加上——多一路就多一份索引维护与延迟成本。

本文由云枢 AI导航整理,内容以官方来源为准。

相关文章

顺序阅读

← 上一篇:语音模型跨语言表现的关键变量:语言判别能力
下一篇:RAG 的切分策略怎么选:固定长度、按标题、按语义的取舍 →

第 2 / 171 篇

术语速查 · 本页出现的 12 个词展开看中文名与一句话解释,点术语看完整条目
  • token词元:模型处理文本的最小单位,中文约 1–2 个汉字;计费与上下文长度都按它算。
  • 转写 / 字幕Transcription:把音视频人声逐句变成带时间戳的文字稿,便于做字幕与章节切分。
  • SSE服务器发送事件:服务器通过长连接持续推送增量文本,是对白逐字出现的常见实现。
  • API应用编程接口:程序之间约定的调用方式;站内工具由服务端调用,浏览器里不出现密钥。
  • CDN内容分发网络:把静态资源缓存到离用户更近的节点,缩短加载时间。
  • 缓存Cache:把结果暂存复用,复用得越多平均耗时越低;需要约定过期与刷新策略。
  • 限流Rate Limit:限制单位时间内的请求次数,防止单用户或异常流量打满服务端。
  • SSG静态站点生成:构建阶段就生成 HTML,访问时直接返回,不必每次请求都渲染。
  • ISR增量静态再生:先返回静态页,再在后台按需重新生成,兼顾速度与更新时效。
  • 灰度发布Canary Release:先让一小部分用户用新版本,确认无误再放量,出问题的爆炸半径最小。
  • 提示词Prompt:交给模型的指令文本;写清角色、任务、输入与输出格式比反复试更省。
  • 积分Credits:站内计费单位:按工具单价预扣,调用失败自动退还;单价以定价页为准。

完整解释与站内出现处见 AI 术语表(40 条)。