选型指南 架构设计 含可复制代码

数据质量前置检查:脏数据不要进模型

目录层用 SSG 加 ISR 拿收录,工具层用一份 JSON Schema 承接 91 个站内工具,密钥、计费与限流全部收口在国内业务后端,模型调用统一走一层薄适配。这篇把我们真实的目录结构、Schema 字段定义、路由闸门、预扣结算伪代码和合规清单完整摊开。

陈
陈默架构组
2026-09-28 · 14 分钟阅读 · 8,432 次浏览

不要带着问题往下走——模型照样会给一个看起来很确定的答案。

脏数据进模型,等于把问题放大

模型会把输入的毛病放大 ✔:字段缺失 → 它去猜 ✔;

单位混乱 → 它算错 ✔;重复行 → 它总结出错误结论 ✔。

在进入模型之前做"数据质量前置检查" ✔,比事后调提示词有效得多 ✔。

一、六项前置检查(按顺序)

```

① 完整性:必填字段有没有?(缺了别让模型猜)

② 类型与范围:数字是不是数字、日期是否合法、枚举是否在表内

③ 一致性:同一实体的写法是否统一("北京"vs"北京市")

④ 去重:完全重复与近似重复

⑤ 单位与量纲:金额币种、长度单位、时间时区

⑥ 时序:日期是否单调、有没有未来时间

```

第 ⑤ 项最常出事故 ✗:金额没写币种 ✔、长度混用米与英尺 ✔ ——

模型不会问,它会直接算 ✔。

二、检查之后怎么办(三级处置)

| 情况 | 处置 |

|---|---|

| 可修正(大小写、全角半角、多余空格 ✔) | 自动规范化 + 记录 ✔ |

| 需确认(单位缺失、币种不明 ✔) | 停下来问用户 ✔(见校验分级那篇 ✔) |

| 不可用(关键字段缺失 ✔) | 明确拒绝 + 说明缺什么 ✔ |

关键:不要"带着问题往下走" ✗ ——

模型不会因为数据有问题就变谨慎 ✔,它照样给一个看起来很确定的答案 ✔。

三、把质量检查接进链路

· 进模型前统一过一遍 ✔(不要每个功能各写一套 ✔ —— 见生成与校验分离 ✔);

· 检查结果要留痕(多少条被规范化、多少条被拒 ✔ —— 见仅记录那级 ✔);

· 与数据源方对齐(反复出现的同类问题,是上游该改 ✔)。

四、该观测什么

· 前置拒绝率(高了说明上游质量差或检查过严 ✔);

· 自动修正率(按类型统计 ✔);

· 因数据质量导致的失败占比(用失败类型分类衡量 ✔ —— 见失败分类 ✔);

· 上游改进趋势(同类问题是否逐月减少 ✔)。

五、一条判据

> 抽 20 条失败案例 ✔,有多少能追溯到"输入的某个字段有问题" ✔?

> 比例高,说明该做前置检查,而不是继续调提示词 ✗。

本文由云枢 AI导航整理,内容以官方来源为准。

相关文章

顺序阅读

← 上一篇:输入示例库:好的提问长什么样
下一篇:长结果的呈现:分层、截断与续写 →

第 160 / 171 篇

术语速查 · 本页出现的 12 个词展开看中文名与一句话解释,点术语看完整条目
  • token词元:模型处理文本的最小单位,中文约 1–2 个汉字;计费与上下文长度都按它算。
  • 转写 / 字幕Transcription:把音视频人声逐句变成带时间戳的文字稿,便于做字幕与章节切分。
  • SSE服务器发送事件:服务器通过长连接持续推送增量文本,是对白逐字出现的常见实现。
  • API应用编程接口:程序之间约定的调用方式;站内工具由服务端调用,浏览器里不出现密钥。
  • CDN内容分发网络:把静态资源缓存到离用户更近的节点,缩短加载时间。
  • 缓存Cache:把结果暂存复用,复用得越多平均耗时越低;需要约定过期与刷新策略。
  • 限流Rate Limit:限制单位时间内的请求次数,防止单用户或异常流量打满服务端。
  • SSG静态站点生成:构建阶段就生成 HTML,访问时直接返回,不必每次请求都渲染。
  • ISR增量静态再生:先返回静态页,再在后台按需重新生成,兼顾速度与更新时效。
  • 灰度发布Canary Release:先让一小部分用户用新版本,确认无误再放量,出问题的爆炸半径最小。
  • 提示词Prompt:交给模型的指令文本;写清角色、任务、输入与输出格式比反复试更省。
  • 积分Credits:站内计费单位:按工具单价预扣,调用失败自动退还;单价以定价页为准。

完整解释与站内出现处见 AI 术语表(40 条)。