选型指南 架构设计 含可复制代码

把事故复盘连到评测:四步与三类事故

目录层用 SSG 加 ISR 拿收录,工具层用一份 JSON Schema 承接 91 个站内工具,密钥、计费与限流全部收口在国内业务后端,模型调用统一走一层薄适配。这篇把我们真实的目录结构、Schema 字段定义、路由闸门、预扣结算伪代码和合规清单完整摊开。

陈
陈默架构组
2026-09-28 · 14 分钟阅读 · 8,432 次浏览

过去半年的事故,每件都能在评测集里找到对应用例吗?

复盘结论要变成评测用例

事故复盘写得再好 ✗,如果结论只停在文档里 ✔,同类事故还会再来 ✔

(见边界用例库那篇 ✔ —— 这里讲"怎么把复盘变成评测"的具体做法 ✔)。

把事故复盘与评测集连起来 ✔,是让质量真正提升的关键一步 ✔。

一、四步连接法

```

① 事件 → 最小复现输入(能触发问题的最小样本)

② 期望行为 → 明确定义"正确应该是什么"(可判定 ✅)

③ 归类 → 属于哪一类失败(见失败分类那篇)

④ 入库 → 进评测集冒烟集,每次改动都跑

```

第 ① 步的"最小"很关键 ✗:直接存线上原样本(几万字 ✔)会让冒烟集跑得慢 ✔;

缩减到最小 ✔ → 跑得快、定位准 ✔。

二、三类事故各自怎么连

| 事故类型 | 用例形式 |

|---|---|

| 格式崩了(下游报错 ✔) | 该输入 + schema 校验断言 ✔ |

| 答错了(事实/编造 ✔) | 该问题 + 期望"拒答或引用原文" ✔ |

| 越权/合规(不该答 ✔) | 越权用例清单(见权限模型 ✔) |

| 体验类(提示误导 ✔) | 断言提示文案含关键信息 ✔ |

体验类也要连 ✗→✔:它是被投诉最多的一类 ✔,但最容易被排除在评测之外 ✔。

三、让"连起来"成为流程的一部分

· 复盘模板里加一栏:"本事故对应的评测用例(已提交/待提交 ✔)" ✔;

· 没有用例不算复盘完成 ✔(与"没有 owner 不算修好"同理 ✔);

· 季度复查:过去半年的事故,用例都进了吗 ✔?

四、三个反模式

· 复盘只写"加强注意" ✗(无法执行 ✔);

· 用例只进文档不进流水线 ✗(不会被跑 ✔);

· 用例写了但没有期望行为 ✗(跑起来也不知道对错 ✔)。

五、一条判据

> 过去半年的事故 ✔,每一件都能在评测集里找到对应用例吗 ✔?

> 有缺的,说明复盘与评测还是两条平行线 ✗。

本文由云枢 AI导航整理,内容以官方来源为准。

相关文章

顺序阅读

← 上一篇:输入校验分级:硬拦、软提示与仅记录
下一篇:批量任务设计:排队、进度与失败重跑 →

第 150 / 171 篇

术语速查 · 本页出现的 12 个词展开看中文名与一句话解释,点术语看完整条目
  • token词元:模型处理文本的最小单位,中文约 1–2 个汉字;计费与上下文长度都按它算。
  • 转写 / 字幕Transcription:把音视频人声逐句变成带时间戳的文字稿,便于做字幕与章节切分。
  • SSE服务器发送事件:服务器通过长连接持续推送增量文本,是对白逐字出现的常见实现。
  • API应用编程接口:程序之间约定的调用方式;站内工具由服务端调用,浏览器里不出现密钥。
  • CDN内容分发网络:把静态资源缓存到离用户更近的节点,缩短加载时间。
  • 缓存Cache:把结果暂存复用,复用得越多平均耗时越低;需要约定过期与刷新策略。
  • 限流Rate Limit:限制单位时间内的请求次数,防止单用户或异常流量打满服务端。
  • SSG静态站点生成:构建阶段就生成 HTML,访问时直接返回,不必每次请求都渲染。
  • ISR增量静态再生:先返回静态页,再在后台按需重新生成,兼顾速度与更新时效。
  • 灰度发布Canary Release:先让一小部分用户用新版本,确认无误再放量,出问题的爆炸半径最小。
  • 提示词Prompt:交给模型的指令文本;写清角色、任务、输入与输出格式比反复试更省。
  • 积分Credits:站内计费单位:按工具单价预扣,调用失败自动退还;单价以定价页为准。

完整解释与站内出现处见 AI 术语表(40 条)。