选型指南 架构设计 含可复制代码

上线前的 AI 安全检查:20 项清单

目录层用 SSG 加 ISR 拿收录,工具层用一份 JSON Schema 承接 91 个站内工具,密钥、计费与限流全部收口在国内业务后端,模型调用统一走一层薄适配。这篇把我们真实的目录结构、Schema 字段定义、路由闸门、预扣结算伪代码和合规清单完整摊开。

陈
陈默架构组
2026-09-28 · 14 分钟阅读 · 8,432 次浏览

随机抽一个已上线功能,能拿出当时的安全检查记录吗?

上线前把安全项过一遍

AI 功能的安全问题很少是"想不到" ✗,多是"没人系统地查" ✔。

把检查做成清单 ✔,上线前逐项过一遍,能挡掉绝大多数低级风险 ✔。

一、20 项上线前安全检查

输入侧

```

□ 输入长度/类型/编码有上限与校验(见长尾输入那篇)

□ 文件上传有类型白名单与大小限制

□ 结构化输入按字段白名单取值

□ 无零宽/控制字符进入链路

□ 提示注入防护:外部内容被明确标注为"资料"

```

权限与动作

```

□ 越权用例清单全部被拒(见权限模型那篇)

□ 写操作有幂等键与确认步骤

□ 高风险动作需人工确认

□ 权限判断在服务端,不依赖界面隐藏

□ 服务账号遵循最小权限

```

数据与合规

```

□ 外发数据已做最小必要与脱敏(见数据脱敏那篇)

□ 日志不含敏感原文(存 hash 或截断)

□ 数据保留期与删除流程可验证(见数据保留那篇)

□ 检索权限在检索层过滤(见可筛选检索那篇)

```

输出与滥用

```

□ 输出有规则校验(绝对化/承诺性表述被拦,见文案审校那篇)

□ 敏感话题有明确边界与免责

□ 有速率限制与配额

□ 有"该拒答却作答"的监控

□ 错误信息不泄露内部细节

```

二、怎么让清单被执行

· 进上线检查单 ✔(与发布流程绑定 ✔ —— 见发布门禁 ✔);

· 能自动化的自动化 ✔(越权用例、脱敏检查、词表扫描 ✔);

· 人工项留痕 ✔(谁查的、结论是什么 ✔);

· 每季度更新 ✔(新踩的坑进清单 ✔ —— 见边界用例库 ✔)。

三、三个反模式

· 只在设计阶段提一次 ✗(实现时遗漏 ✔);

· 清单太长没人看 ✗(20 项以内、分四组 ✔);

· 检查没有责任人 ✗("大家看一下" ✔)。

一条判据

> 随机抽一个已上线的 AI 功能 ✔,你能否拿出它当时的安全检查记录 ✔?

> 拿不出,说明安全检查还没进流程 ✗。

本文由云枢 AI导航整理,内容以官方来源为准。

相关文章

顺序阅读

← 上一篇:把检索范围交给用户:透明的范围控制
下一篇:输入分布漂移监控:指标没变但效果在变 →

第 142 / 171 篇

术语速查 · 本页出现的 12 个词展开看中文名与一句话解释,点术语看完整条目
  • token词元:模型处理文本的最小单位,中文约 1–2 个汉字;计费与上下文长度都按它算。
  • 转写 / 字幕Transcription:把音视频人声逐句变成带时间戳的文字稿,便于做字幕与章节切分。
  • SSE服务器发送事件:服务器通过长连接持续推送增量文本,是对白逐字出现的常见实现。
  • API应用编程接口:程序之间约定的调用方式;站内工具由服务端调用,浏览器里不出现密钥。
  • CDN内容分发网络:把静态资源缓存到离用户更近的节点,缩短加载时间。
  • 缓存Cache:把结果暂存复用,复用得越多平均耗时越低;需要约定过期与刷新策略。
  • 限流Rate Limit:限制单位时间内的请求次数,防止单用户或异常流量打满服务端。
  • SSG静态站点生成:构建阶段就生成 HTML,访问时直接返回,不必每次请求都渲染。
  • ISR增量静态再生:先返回静态页,再在后台按需重新生成,兼顾速度与更新时效。
  • 灰度发布Canary Release:先让一小部分用户用新版本,确认无误再放量,出问题的爆炸半径最小。
  • 提示词Prompt:交给模型的指令文本;写清角色、任务、输入与输出格式比反复试更省。
  • 积分Credits:站内计费单位:按工具单价预扣,调用失败自动退还;单价以定价页为准。

完整解释与站内出现处见 AI 术语表(40 条)。