资讯 · 第 11 页

小样本下的效果判断：什么时候该说「看不出来」

小样本上 70%→75% 多半只是噪声。本文给出样本量的量级估算、三条实用判据（净胜数/区间/失败类型）、何时该说看不出、小样本仍能做的判断，以及避免自欺的团队

把 AI 能力做成 API 给别人用：契约、配额与文档

对外开放 AI 能力会把不稳定性一起放大。本文给出 AI API 契约该多写的三条、对外的配额与限流底线、文档必须写「不会什么」、可观测与支持要求，以及五条上线

把上下文做成可组装的：模板化提示词工程

上下文不该是拼字符串。本文给出六个标准组件与顺序建议、三条边界纪律（数据与指令分开、组件可开关、体积预算）、组装器职责、三个常见错误与验证方法。

评测里最容易被忽略的一类：拒答与澄清

拒答与澄清也是正确输出。本文给出四类输出与两个误导率（该拒答却作答、该作答却拒答）、样本构造方法、两种失败模式、判据写法与落地顺序。

AI 功能的「可解释」：该解释什么、不该解释什么

可解释不是把提示词贴给用户。本文给出该解释的三件事、不该解释的三件事、不确定性该怎么具体表达、引用如何做到可核对，以及何时该不解释与一条判据。

影子模式：新版先暗跑，再决定要不要切

影子模式让新版本在不影响用户的前提下先跑。本文给出三种形态、双跑该比的五项、成本与并发翻倍的提醒、事先写死的上线判据，以及两个常见陷阱与落地顺序。

对话式产品的空状态：怎么让用户问对问题

对话产品的第一道坎是用户不知道能问什么。本文给出空状态该做的四件事、示例问题的选法、引导追问的三个技巧，以及用三个指标验证空状态是否有效的方法。

向量检索之外：什么时候该用关键词、筛选与规则

向量检索不擅长精确词、短查询与结构化条件。本文给出四种检索手段的强项与短板、三种组合做法、什么时候不该用检索，以及用分组召回率验证该加哪一路的方法。

把失败变成资产：事故复盘怎么写才有用

有用的复盘不找责任人，而是逐层追问防线为何失效，并把每条新防线落成有验证方式的动作、把事故变成测试用例。本文给出时间线写法、五个追问、验证对照表与最小模板。

提示词里的「角色」设定到底有没有用

角色设定能稳定改变语气与视角，但很少改变事实正确性。本文给出角色真正有用的三种场景、几乎没用的三种场景、写法要点，以及如何用对照实验如实验证它的效果。

让答案可核对：检索与生成之间的「证据表」

生成式回答难核对，解法是在检索与生成之间加一张证据表：抽取事实+出处+原话，程序做子串校验，只基于表写答案并标引用。本文给出字段设计、三步流程、三个收益与常见错

合成数据能不能用：三种用法与三条红线

合成数据能补边界样本，但会污染评测。本文给出三种合理用法、三条红线（不当事实集/不自评/不混真实数据）、必做的来源标注与抽检，以及验证它是否真帮上忙的方法。

把工具调用做成可观测的：日志、回放与重试

工具调用出错可能藏在参数、时序、权限与幂等里。本文给出该记的 10 项日志、离线回放的做法、重试的三条边界、四个该报警的指标与最小落地顺序。

AI 功能的容量规划：怎么估并发与峰值

AI 场景的并发要拆成入口、上游、下游三层分别估，取最紧的一层做上限。本文给出用利特尔法则估算的方法、峰值处理的三种手段（按代价排序）、三类常见误判与一张最小容

把用户反馈做成闭环：收集、分类、归因、回归

用户反馈要接请求 id、分成有限几类、按成本从低到高归因、每次修复转成评测样本。本文给出五步闭环、两个该定期看的变化，以及一周可跑起来的最小闭环。

长文摘要流水线：切分、归并、校验、成稿

长文摘要单次调用做不到，要做成流水线。本文给出切分与分段摘要、分层归并、三类校验（数字/覆盖/格式）、成稿与引用要求、工程细节与验收方法。

LLM 的缓存怎么做：三层缓存与三类不要缓存

LLM 缓存难在键的定义。本文给出三层缓存（精确、语义、前缀复用）、各自的键设计与风险、三类不该缓存的内容、该观测的指标（含最易忽略的误命中率）与落地顺序。

多模型路由：把成本花在刀刃上

多模型路由让不同难度的请求走不同档位。本文给出三个可度量判据、三种实现（规则/分类器/级联）与各自代价、兜底与抽检要求，以及该观测的指标与落地顺序。