表格与图表是"最难检索"的内容
文本检索已经成熟,但企业资料里大量关键信息在表格、图表、扫描件里 ✔ ——
这些内容如果处理不好,检索就会"看得到标题、拿不到数据" ✗。
三种非文本内容的处理策略 ✔:
一、表格:不要压成一行
错误做法 ✗:解析器把表格按行拼成文本 ✔("名称 数值 单位 名称 数值 单位…"),
行列关系丢失 ✔,检索到也没法用 ✔。
正确做法 ✔:
- 保留结构(转成 Markdown 表格或结构化记录 ✔);
- 每行可独立检索(把"行"作为一个块 ✔,并带上表头 ✔ ——
没有表头的行等于没有意义 ✔);
- 表名与单位也要带上 ✔("金额(万元)"必须跟着数值 ✔)。
切块建议:小表整表一块 ✔;大表按行分组(例如 10 行一块 ✔),每块重复表头 ✔。
二、图表:先转成"数据 + 描述"
图表(折线、柱状、饼图 ✔)直接嵌入检索没有意义 ✗。两种做法:
- 提取数据点(若原文件是结构化格式如 xlsx/pptx ✔)→ 存成"系列 + 数值 + 单位" ✔;
- 生成图注描述(若是图片 ✔)→ 写清"横轴是什么、纵轴是什么、主要趋势" ✔,
并标注这是模型生成描述、可能有误 ✔(与本站"如实标注"同一原则 ✔)。
要点:图表检索的正确形态是"数值 + 文字描述"并存 ✔,
回答时优先引用数值 ✔,描述只作辅助 ✔。
三、扫描件/图片:OCR 之后仍要结构化
- OCR 文本要保留版面线索(页码、栏目、表格边界 ✔);
- OCR 结果必须标注来源与页码 ✔(便于人工核对 ✔);
- OCR 错误率要抽样评估 ✔(数字识别错误在财务资料里代价极高 ✔)——
对关键数字,建议双重识别或人工抽检 ✔。
四、怎么验证非文本检索
- 准备 20 个"必须看表格才能回答"的问题 ✔;
- 检查:正确单元格是否进了候选 ✔、回答里的数字是否与原文逐字一致 ✔;
- 单独统计数字错误率 ✔(这是非文本检索最该盯的指标 ✔)。
一条判据
抽 10 个"表格类"问题 ✔,回答里的数字能否逐字对回原表 ✔?
对不回,说明表格还没有被正确结构化 ✗。