选型指南 架构设计 含可复制代码

数据脱敏与最小必要:把用户数据喂给模型前该做什么

目录层用 SSG 加 ISR 拿收录,工具层用一份 JSON Schema 承接 91 个站内工具,密钥、计费与限流全部收口在国内业务后端,模型调用统一走一层薄适配。这篇把我们真实的目录结构、Schema 字段定义、路由闸门、预扣结算伪代码和合规清单完整摊开。

陈
陈默架构组
2026-09-28 · 14 分钟阅读 · 8,432 次浏览

能砍掉的字段就砍掉,风险随之消失。

前提:能不喂就不喂

脱敏的第一原则不是"怎么处理",而是是否真的需要:很多功能并不需要原始的用户数据,

只需要统计特征、类别标签或已抽取的结构化字段。最小必要能省掉绝大部分风险。

数据进入模型前的四道处理

一、识别

· 显式标识(身份证、手机号、邮箱、银行卡、订单号);

· 准标识(姓名 + 生日 + 地址组合起来能定位到人);

· 自由文本里的隐性信息("我是 XX 公司唯一的女 CTO")。

二、替换(假名化)

把标识替换成占位符(<PHONE_1>、<PERSON_A>),并在文内保持一致(同一人始终是同一个占位符),

否则模型会读不懂指代关系。需要还原时,映射表单独加密保存,与模型输入分离。

三、裁剪

· 只发送需要的那一段(不要整封邮件都为了一句话);

· 去掉签名档、页脚、附件名等无关内容(它们常含联系方式)。

四、记录

· 记下"这次调用用了哪些字段";

· 谁在什么时候因为什么原因调用了它(审计留痕)。

三个容易忽略的点

· 日志也是数据:请求日志、错误日志、评测样本里同样会有原始数据,要一并脱敏;

· 向量库是长期存储:把带标识的原文嵌入并长期保存,等于把脱敏绕过去了;应嵌脱敏后文本;

· 提示词回显:有些界面会把完整提示词展示给用户或写在错误信息里,注意别把映射表带出来。

与合规的三条对应

1. 最小必要:只收集与处理完成目的所需的最少数据;

2. 可撤回:用户撤回同意后,能定位到并删除相关数据(包括派生数据如向量);

3. 可解释:能说明数据流向(发给了谁、保存多久)。

一个可执行的检查清单

1. 列出该功能真正需要的字段(多数能砍掉一半);

2. 为每个字段定脱敏规则,并写成可测试的规则(用样例自动比对);

3. 日志与评测样本走同一套脱敏;

4. 建立字段级调用审计;

5. 演练一次"撤回同意 → 删除数据 → 确认派生数据也删除"。

本文由云枢 AI导航整理,内容以官方来源为准。

相关文章

顺序阅读

← 上一篇:把评测集接进流水线:让退化在合并前就被拦下
下一篇:把提示词改动做成可复现的对照实验 →

第 24 / 171 篇

术语速查 · 本页出现的 12 个词展开看中文名与一句话解释,点术语看完整条目
  • token词元:模型处理文本的最小单位,中文约 1–2 个汉字;计费与上下文长度都按它算。
  • 转写 / 字幕Transcription:把音视频人声逐句变成带时间戳的文字稿,便于做字幕与章节切分。
  • SSE服务器发送事件:服务器通过长连接持续推送增量文本,是对白逐字出现的常见实现。
  • API应用编程接口:程序之间约定的调用方式;站内工具由服务端调用,浏览器里不出现密钥。
  • CDN内容分发网络:把静态资源缓存到离用户更近的节点,缩短加载时间。
  • 缓存Cache:把结果暂存复用,复用得越多平均耗时越低;需要约定过期与刷新策略。
  • 限流Rate Limit:限制单位时间内的请求次数,防止单用户或异常流量打满服务端。
  • SSG静态站点生成:构建阶段就生成 HTML,访问时直接返回,不必每次请求都渲染。
  • ISR增量静态再生:先返回静态页,再在后台按需重新生成,兼顾速度与更新时效。
  • 灰度发布Canary Release:先让一小部分用户用新版本,确认无误再放量,出问题的爆炸半径最小。
  • 提示词Prompt:交给模型的指令文本;写清角色、任务、输入与输出格式比反复试更省。
  • 积分Credits:站内计费单位:按工具单价预扣,调用失败自动退还;单价以定价页为准。

完整解释与站内出现处见 AI 术语表(40 条)。