标签 · 工程实践

把事故复盘连到评测：四步与三类事故

复盘结论停在文档里，同类事故还会再来。本文给出四步连接法（重点：缩减到最小复现输入）、三类事故各自的用例形式（体验类也要连）、让连接成为流程的做法与三个反模式。

AI 功能的发布节奏：多久发一次比较好

太快与太慢都伤，节奏应由风险与批次大小决定。本文给出按改动类型的节奏建议、四条纪律、合并与拆分的判断标准与该观测的四个指标。

降级链要有层次：五级递进与每级的四个问题

真实故障是渐进的，降级不该只有开/关两档。本文给出五级降级（重试/换路/缩量/兜底/不可用）、每级要回答的四个问题、对外如实标注的要求与该观测的四个指标。

上线前的 AI 安全检查：20 项清单

把检查做成清单能挡掉绝大多数低级风险。本文给出 20 项上线前安全检查（输入侧/权限与动作/数据与合规/输出与滥用四组）、让清单被执行的四个做法与三个反模式。

AI 功能的并发控制：同一用户重复提交怎么办

重复提交在 AI 功能里意味着真的多花钱。本文给出三层防护（前端/幂等键/配额）、幂等键怎么定、多设备冲突处理、该观测的四个指标与三个反模式。

把评测结论写进发布说明

发布说明常写无法验证的话。本文给出一条发布说明该有的六项（重点是评测结论）、评测结论的三条写法（带基线/带不确定/带失败类型变化）与三个反模式。

把生成与校验分开部署：为什么不该互相影响

生成与校验耦合会互相拖累。本文给出分开之后的四个好处（重点：可重放只重跑校验）、推荐的四段分段与独立重试、接口怎么定与三个常见反模式。

把踩过的坑固化成边界用例库

结论要变成可执行的检查。本文给出一条用例该有的五样东西（含「曾经的错误行为」）、用例的四个来源、让它不腐烂的四个做法与三个反模式。

AI 项目的团队分工：谁负责提示词、谁负责评测

责任真空是 AI 项目的常见病。本文给出四个角色与职责边界、三样必须有唯一负责人的东西、三个协作固定动作、三个反模式与小团队最小配置。

把提示词库做成可复用资产：目录与命名

提示词散落是团队的隐性负债。本文给出按用途组织的目录结构（含 shared 共享片段）、命名规范、元数据必有的五项（重点：目标评测集）与复用机制。

AI 功能的季度体检：八项检查与一份短文档

AI 系统会缓慢退化，周指标看不出来。本文给出八项季度检查（质量/成本/延迟/评测集/文档/依赖/护栏/合规）、三个必看变化、体检产出的四项与两个反模式。

上线前要给客服什么：一份武装包

客服不懂 AI 功能，第一批事故就会发生在客服环节。本文给出武装包的五样东西（重点：已知限制与失败模式）、Q&A 怎么写、给客服的三个权力与上线第一周的做法。

把日志变成可查询的证据：字段规范化

日志要能回答具体问题。本文给出必带与按需字段清单（重点是阶段与分段延迟）、三条纪律、四条该能一次查询搞定的问题、两个反模式与落地顺序。

把评测接进日常：四种改动各自的检查清单

忙碌时最先省掉的就是评测。本文给出四类改动（提示词/换模型/改检索/改默认值）各自的检查清单、让清单真正被执行的四个做法与三个反模式。

把外部依赖管起来：供应商变更与退出预案

外部依赖会涨价、改接口、限流、下线。本文给出依赖登记表字段、四类变化的应对、必须提前做的三件事（抽象层/契约测试/切换演练）、该监控的四类信号与每个致命依赖该问

从零建评测集：第一周该做什么

把建评测集当大项目，两周都跑不起来。本文给出第一周的日程（第一天 50 条样本、第二天出第一个数字、到第五天扩到 150 条并加失败类型、第二周接流水线定 ow

把文档更新变成流程：谁改、谁审、谁通知

文档更新流程不清会导致旧版仍被检索、新版没进索引。本文给出四个角色、五个必须记录的字段（重点：生效时间）、自动触发索引的做法、通知对象与一份检查清单。

变更说明怎么写：给未来同事与现在用户的两份

变更说明有两类读者。本文给出给未来同事的六项记录（重点：验证结果与未解决部分）、给用户的三句话（要不要变、什么变化、如何回退）、必须对外说明的四种情形与三个反模