标签 · 工程实践

提示词版本管理：把提示词当代码来管

提示词散落在文档与聊天记录里，出问题就无法归因。本文给出五件必做事（进版本库、带版本号、参数化、配评测集、灰度发布）、目录结构建议与常见反模式。

给 AI 功能做降级设计：上游挂了，用户还能用

线上 AI 功能最常见的故障是上游不可用。本文给出四层降级（重试切换、换小模型、规则兜底、明确不可用）、三条常见误区，以及把降级写进产品与监控的具体做法。

响应慢在哪里：把首字延迟与总时长分开优化

用户感知的慢，往往拆成首字延迟与生成速度两部分。本文给出各自的成因、该测的指标与优化手段，并说明流式输出、并行前置与缓存分别改善哪一段。

智能体的工具该怎么设计：少而准，可回滚，有边界

给智能体接工具时，最常见的问题是工具太多、太宽、没有边界。本文讲清工具设计的四条原则、参数设计的具体做法，以及为什么写操作必须有幂等、回滚与二次确认。

让模型稳定输出 JSON：约束、校验与重试的工程做法

结构化输出不稳定，多半不是模型问题，而是缺少约束与校验。本文给出三层做法：形态约束、程序校验、失败重试，并说明为什么不该把模型的原始输出直接喂给下游。

评测集怎么建才可信：抽样、标注与回归三道关

评测集的质量决定优化方向。本文讲清三道关：抽样要覆盖真实分布、标注要定义清楚、回归要固定不变；并给出小团队也能落地的规模与流程建议。

批量推理怎么降本：缓存、批处理与路由的叠加顺序

降本手段有先后：先用缓存把重复请求消灭，再用批处理摊薄单价，最后才考虑换更便宜的模型。本文给出可执行的顺序与各自的适用边界，并说明哪些「省法」会伤质量。

提示词注入是怎么回事：把用户输入当「数据」而不是「指令」

提示词注入无法靠「让模型更听话」根治，因为它本质是数据与指令混在同一个通道。本文讲清三类常见注入路径，以及工程上真正有效的四类缓解措施与它们的边界。

RAG 的切分策略怎么选：固定长度、按标题、按语义的取舍

切分粒度太粗会把无关内容一起塞进上下文，太细又会让一句话脱离前提。本文对比固定长度、按标题层级、按语义三种做法，给出选择依据与可落地的默认值。