标签 · RAG
共 28 篇 · 第 1 / 2 页 · ← 返回全部资讯
代码库问答的四个难点与四项对策
把 RAG 用在代码上有特有难点。本文给出四个难点(切分单位/跨文件引用/版本分支/分布差异)、四项按性价比排序的对策、必须注意的安全问题与该观测的四个指标。
把检索结果做成可对话的:追问与下钻
一次问答只回答 80% 的情况很常见。本文给出四种下钻入口、实现上的三个要点(带上结果结构与片段 id、默认不重新全量检索、保留引用链)、界面细节与三个反模式。
给文档库打质量分:五个维度与三档动作
RAG 的上限由资料质量决定。本文给出五个可自动计算的维度(最关键是「能否被真实问法命中」)、简单打分法、分数对应的三档动作(低分不修就移出检索范围)与三个反模
把检索范围交给用户:透明的范围控制
检索范围不透明,用户就无法解释为什么没查到。本文给出三个层次的范围控制(显示/筛选/指定)、显示该怎么写(三要三不要)、筛选与权限冲突的处理与该观测的四个指标。
把检索质量接到业务指标:从答案质量到业务结果
检索质量是中间指标,业务结果才是最终指标。本文给出四层指标链(检索/答案/使用/业务)、把层间假设写下来的做法、验证方法与两个常见误判。
把检索日志用起来:从查询分布发现内容缺口
查询日志是内容缺口的地图。本文给出该记录的查询信息、四类信号与对应动作(重点:命中高却被拒答常是阈值问题)、把缺口变成待办的五步闭环与三个反模式。
检索体检十问:先别急着换模型
检索出问题时先自查。本文给出十个问题(召回/排序/截断/去重/元数据/新鲜度/版本/例外/该拒答/归因)与使用方法,八成能找到比换模型更根本的原因。
把知识过期做成产品能力:时效提示与刷新入口
用户很难察觉资料过期。本文给出三种时效提示、给用户的刷新入口、后台该做的四件事、三个反模式与一份检查清单。
非文本内容的检索:表格、图表与扫描件怎么处理
关键信息常在表格与图表里。本文给出表格处理的三条正确做法(保留结构、按行带表头切块、带上单位)、图表的两种处理方式、扫描件 OCR 的结构化要求与验证非文本检索
检索里的版本与变更:别让旧版和新版混在一起
旧版与新版并存会让模型把旧规则当现行规则。本文给出索引该带的版本字段、检索的默认行为(只取 current)、迁移与失效处理、三个常见坑与验证方法。
检索里的否定与例外:别让模型只看到一半
检索倾向于召回支持性片段,漏掉否定与例外,导致过度概括。本文给出三类易漏内容、三种做法(切分不切断条件从句、条件词扩展、邻居召回)、提示词的防守写法与怎么测这件
检索的证据链:谁在什么时候看过什么
涉及权限的检索必须可审计。本文给出审计日志该记的六项(重点是最终使用的片段)、日志本身的保护要求、三件应能一键回答的事、三个常见坑与落地顺序。
检索与生成的分工契约:谁负责什么
RAG 扯皮源于没有分工契约。本文给出检索侧与生成侧各三项承诺、一张失败归因规则表、验证契约是否生效的分段指标与契约测试,以及两个常见反模式。
把检索片段喂给模型之前:去噪、排序与压缩
检索结果不能直接塞给模型。本文给出喂之前的三道处理(去噪、排序、压缩)、给模型的呈现格式、该观测的四个指标(含误删率与上下文命中率),以及一条判据。
把检索结果做成可筛选的:时间、来源、类型与权限
只靠相似度会搜出过期与越权内容。本文给出四个必备筛选维度、为什么权限必须在检索层(展示层隐藏会导致模型复述泄露)、筛选的可见性与解释,以及三个常见坑与落地顺序。
检索的「新鲜度」治理:增量索引与过期标注
只在一开始读一遍文档,检索会逐渐给过期答案。本文给出增量索引的四个要点、过期标注的四种做法、该观测的三个指标(索引滞后/过期命中/删除残留)、两个常见坑与落地顺
把检索质量做成可回归的:黄金集与定期抽样
检索质量会随文档、切分、模型、索引悄悄退化。本文给出黄金集的做法(20~50 题、冻结、覆盖查询类型)、每次必跑的三个指标、定期从真实流量抽样的流程、四种常见退
向量检索之外:什么时候该用关键词、筛选与规则
向量检索不擅长精确词、短查询与结构化条件。本文给出四种检索手段的强项与短板、三种组合做法、什么时候不该用检索,以及用分组召回率验证该加哪一路的方法。