过去一个月，输入长度 P95 与任务类型占比变了多少？
输入在悄悄变化
模型没变、提示词没变、代码没变 ✔ —— 但效果在变 ✗。
常见原因：输入分布变了 ✔（用户群体扩大、上游改了格式、季节性变化 ✔）。
监控输入分布 ✔，能在质量指标恶化之前发现问题 ✔。
一、该监控的四类分布
1. 长度分布（输入/输出 token 的 P50/P95 ✔ —— 变长通常意味着成本要涨 ✔）；
2. 语言与地区分布（新语言出现 ✔ → 能力可能不足 ✔ —— 见国际化那篇 ✔）；
3. 任务类型分布（分类/抽取/生成的比例 ✔ —— 比例变了，整体指标自然变 ✔）；
4. 异常输入比例（超长、空输入、含代码、含表格 ✔）。
要点：指标要能按维度下钻 ✗→✔（只看总量的平均值，会把分布变化掩盖掉 ✔）。
二、怎么算"变了"（别用肉眼）
· 固定基线与区间（例如近 30 天为基线 ✔）；
· 用分位数与占比对比（P95 长度、某类任务占比 ✔）；
· 设触发阈值（例如某类输入占比变化 > 20% 提醒 ✔）；
· 避免噪声误报（周末/活动期有正常波动 ✔ → 用同环比 ✔）。
三、发现漂移后怎么办
```
① 先确认不是采集/埋点问题（口径变了吗 ✔）
② 定位到具体维度（是语言？长度？任务类型？✔）
③ 判断影响（该维度的质量/成本是否更差 ✔ —— 用分段指标看 ✔）
④ 分情况处理：
· 能力不足 → 拒绝或降级 + 明确说明（见能力区间那篇 ✔）
· 成本上升 → 调整预算与上限（见预算那篇 ✔）
· 格式变化 → 修规范化与解析（见输入规范化那篇 ✔）
```
四、三个反模式
· 只看平均 ✗（分布变化被平均掉 ✔）；
· 不区分"采集变化"与"真实变化" ✗（埋点改了会误判 ✔）；
· 发现了不处理 ✗（漂移会持续累积 ✔）。
一条判据
> 过去一个月，你的输入长度 P95 与任务类型占比变了多少 ✔？
> 答不出，说明输入分布没有被监控 ✗。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：上线前的 AI 安全检查：20 项清单
下一篇：把多轮改写做顺：只改该改的，别丢已改的 →
第 143 / 171 篇