选型指南 架构设计 含可复制代码

AI 功能的灰度开关设计:谁、什么时候、怎么关

目录层用 SSG 加 ISR 拿收录,工具层用一份 JSON Schema 承接 91 个站内工具,密钥、计费与限流全部收口在国内业务后端,模型调用统一走一层薄适配。这篇把我们真实的目录结构、Schema 字段定义、路由闸门、预扣结算伪代码和合规清单完整摊开。

陈
陈默架构组
2026-09-28 · 14 分钟阅读 · 8,432 次浏览

没演练过的开关,等于没有开关。

"上线"不是一次动作,而是一组开关

AI 功能出问题时,最贵的成本是反应时间 ✗:定位要多久、能不能马上关掉 ✔。

所以上线前必须把"开关"设计好 ✔ —— 它决定了你能否在 5 分钟内止损 ✔。

一、该有哪些开关(六类)

| 开关 | 作用 | 粒度 |

|---|---|---|

| 总开关 | 一键关闭该功能 | 功能级 |

| 模型/版本切换 | 切回旧模型或旧提示词 | 功能级 |

| 降级开关 | 强制走小模型/缓存/规则兜底 | 功能级 |

| 流量比例 | 灰度放量(1% → 100%)| 功能级 |

| 租户/用户白名单 | 只对内部或指定租户开 | 租户级 |

| 单请求上限 | 输入长度/输出长度/超时 | 请求级 |

前三个是止损用的 ✔,后三个是控制影响面的 ✔;缺一个都会在事故里付出代价 ✔。

二、开关的设计要求

1. 生效快 ✔(秒级,不要重新发布 ✗ —— 发布要几分钟,事故里等不起 ✗);

2. 可审计 ✔(谁在什么时候改了开关,记下来 ✔);

3. 有默认值 ✔(配置缺失时取安全值:例如默认关闭新版本 ✔);

4. 有演练 ✔(每季度真的关一次,确认能关掉 ✔ —— 没演练过的开关等于没有 ✗)。

三、谁有权关

· 值班人可关 ✔(不需要审批 ✔ —— 止损优先 ✔);

· 开启需要审批 ✔(尤其是全量 ✔);

· 关闭动作要自动通知相关人 ✔(避免"关了没人知道" ✗)。

四、常见反模式

· 开关只在代码里 ✗(改开关要发版 → 止损要 20 分钟 ✗);

· 一个总开关管所有环境 ✗(测试环境一关,线上也关 ✗);

· 开关没有日志 ✗(不知道谁改的、什么时候 ✔);

· 开关太多且含义重叠 ✗(事故时不知道该关哪个 ✔);

· 从没演练过 ✗(真出事时发现开关失效 ✔)。

五、上线前检查(可直接抄)

```

□ 总开关已就位且秒级生效 □ 演练过关闭流程

□ 可切回旧版本(模型+提示词) □ 降级链已配置

□ 灰度比例可调 □ 租户白名单可用

□ 单请求上限已设 □ 开关变更进审计日志

```

一条判据

> 值班人不看代码、不问人 ✔,能否在 5 分钟内把功能关掉或降级 ✔?

> 不能,就别全量上线 ✗。

本文由云枢 AI导航整理,内容以官方来源为准。

相关文章

顺序阅读

← 上一篇:把评测结果做成能看懂的报表:三张图与三条纪律
下一篇:处理长尾输入:白名单、兜底与礼貌地拒绝 →

第 62 / 171 篇

术语速查 · 本页出现的 12 个词展开看中文名与一句话解释,点术语看完整条目
  • token词元:模型处理文本的最小单位,中文约 1–2 个汉字;计费与上下文长度都按它算。
  • 转写 / 字幕Transcription:把音视频人声逐句变成带时间戳的文字稿,便于做字幕与章节切分。
  • SSE服务器发送事件:服务器通过长连接持续推送增量文本,是对白逐字出现的常见实现。
  • API应用编程接口:程序之间约定的调用方式;站内工具由服务端调用,浏览器里不出现密钥。
  • CDN内容分发网络:把静态资源缓存到离用户更近的节点,缩短加载时间。
  • 缓存Cache:把结果暂存复用,复用得越多平均耗时越低;需要约定过期与刷新策略。
  • 限流Rate Limit:限制单位时间内的请求次数,防止单用户或异常流量打满服务端。
  • SSG静态站点生成:构建阶段就生成 HTML,访问时直接返回,不必每次请求都渲染。
  • ISR增量静态再生:先返回静态页,再在后台按需重新生成,兼顾速度与更新时效。
  • 灰度发布Canary Release:先让一小部分用户用新版本,确认无误再放量,出问题的爆炸半径最小。
  • 提示词Prompt:交给模型的指令文本;写清角色、任务、输入与输出格式比反复试更省。
  • 积分Credits:站内计费单位:按工具单价预扣,调用失败自动退还;单价以定价页为准。

完整解释与站内出现处见 AI 术语表(40 条)。