标签 · 工程实践

把提示词与数据版本绑在一起：可复现的一次调用

结果不一致通常源于模型、提示词或数据变了。本文给出可复现调用要记录的四组信息、调用指纹的做法与用途、缓存键与指纹的关系、在评测与复盘中的用法与落地顺序。

模型换代怎么迁：对照、灰度与回滚

模型换代要当成正式变更：先冻结评测集与基线、准备提示词适配与回滚方案，再离线对照、影子双跑、按风险灰度，最后保留旧路径一段时间。本文给出四坑与可直接抄的上线判据

把 AI 能力做成 API 给别人用：契约、配额与文档

对外开放 AI 能力会把不稳定性一起放大。本文给出 AI API 契约该多写的三条、对外的配额与限流底线、文档必须写「不会什么」、可观测与支持要求，以及五条上线

AI 功能的「可解释」：该解释什么、不该解释什么

可解释不是把提示词贴给用户。本文给出该解释的三件事、不该解释的三件事、不确定性该怎么具体表达、引用如何做到可核对，以及何时该不解释与一条判据。

向量检索之外：什么时候该用关键词、筛选与规则

向量检索不擅长精确词、短查询与结构化条件。本文给出四种检索手段的强项与短板、三种组合做法、什么时候不该用检索，以及用分组召回率验证该加哪一路的方法。

把失败变成资产：事故复盘怎么写才有用

有用的复盘不找责任人，而是逐层追问防线为何失效，并把每条新防线落成有验证方式的动作、把事故变成测试用例。本文给出时间线写法、五个追问、验证对照表与最小模板。

让答案可核对：检索与生成之间的「证据表」

生成式回答难核对，解法是在检索与生成之间加一张证据表：抽取事实+出处+原话，程序做子串校验，只基于表写答案并标引用。本文给出字段设计、三步流程、三个收益与常见错

把工具调用做成可观测的：日志、回放与重试

工具调用出错可能藏在参数、时序、权限与幂等里。本文给出该记的 10 项日志、离线回放的做法、重试的三条边界、四个该报警的指标与最小落地顺序。

长文摘要流水线：切分、归并、校验、成稿

长文摘要单次调用做不到，要做成流水线。本文给出切分与分段摘要、分层归并、三类校验（数字/覆盖/格式）、成稿与引用要求、工程细节与验收方法。

LLM 的缓存怎么做：三层缓存与三类不要缓存

LLM 缓存难在键的定义。本文给出三层缓存（精确、语义、前缀复用）、各自的键设计与风险、三类不该缓存的内容、该观测的指标（含最易忽略的误命中率）与落地顺序。

提示词里的示例怎么给：少而准 vs 多而全

示例能提升稳定性，但吃 token 与注意力。本文给出三个原则（少而准、覆盖易错处、与真实分布一致）、一个判断顺序（该不该加示例）、成本与可维护性考量，以及四个

多语言场景的坑：分词、时区与本地化格式

多语言的真实故障常来自分词、Unicode 归一化、时区、数字日期格式与姓名地址结构。本文列出五个高频坑、测试做法与一份可执行检查清单。

把评测集接进流水线：让退化在合并前就被拦下

评测集建好后最怕没人在跑。本文给出三条流水线（冒烟/完整/夜间）、写进配置的判定规则、三个工程细节与四个常见坑，让指标退化在合并前被拦下。

把长任务做成可恢复：断点、幂等与进度可见

长任务必须有可恢复、幂等、进度可见三件事。本文给出断点续跑的具体做法（拆步、落盘、输入指纹）、幂等键与两阶段副作用、进度展示要点，以及四个常见错误。

AI 功能的 A/B 测试怎么做才可信

AI 功能的 A/B 测试常不可信：模型会变、指标滞后、方差大。本文给出必须先定的五件事（实验单位、指标口径、版本冻结、样本量、判定规则）与三种更适合 AI 的

AI 功能的埋点与看板：该记录哪些字段

AI 功能埋点要能回答谁在用、用得好不好、错在哪里、花了多少钱。本文列出该记的字段（基础/调用/质量/成本）、三张必备看板与四个常见坑，并给出落地顺序。

把 AI 输出接到业务系统：三种接线方式与各自代价

AI 结果进业务系统有三种接线方式，代价差别很大。本文给出选型依据、校验该写成什么样、幂等与去重的做法、可回滚设计，以及上线前的检查清单。

多轮对话的上下文管理：摘要、锚点与按需检索

长对话里模型忘记前文，本质是上下文管理问题。本文讲清滚动摘要、关键事实锚点表、按需检索历史三种手段，以及该丢什么、该留什么与该测什么。