输入在悄悄变化
模型没变、提示词没变、代码没变 ✔ —— 但效果在变 ✗。
常见原因：输入分布变了 ✔（用户群体扩大、上游改了格式、季节性变化 ✔）。
监控输入分布 ✔，能在质量指标恶化之前发现问题 ✔。
一、该监控的四类分布
- 长度分布（输入/输出 token 的 P50/P95 ✔ —— 变长通常意味着成本要涨 ✔）；
- 语言与地区分布（新语言出现 ✔ → 能力可能不足 ✔ —— 见国际化那篇 ✔）；
- 任务类型分布（分类/抽取/生成的比例 ✔ —— 比例变了，整体指标自然变 ✔）；
- 异常输入比例（超长、空输入、含代码、含表格 ✔）。
要点：指标要能按维度下钻 ✗→✔（只看总量的平均值，会把分布变化掩盖掉 ✔）。
二、怎么算"变了"（别用肉眼）
- 固定基线与区间（例如近 30 天为基线 ✔）；
- 用分位数与占比对比（P95 长度、某类任务占比 ✔）；
- 设触发阈值（例如某类输入占比变化 > 20% 提醒 ✔）；
- 避免噪声误报（周末/活动期有正常波动 ✔ → 用同环比 ✔）。
三、发现漂移后怎么办
① 先确认不是采集/埋点问题（口径变了吗 ✔）
② 定位到具体维度（是语言？长度？任务类型？✔）
③ 判断影响（该维度的质量/成本是否更差 ✔ —— 用分段指标看 ✔）
④ 分情况处理：
- 能力不足 → 拒绝或降级 + 明确说明（见能力区间那篇 ✔）
- 成本上升 → 调整预算与上限（见预算那篇 ✔）
- 格式变化 → 修规范化与解析（见输入规范化那篇 ✔）
四、三个反模式
- 只看平均 ✗（分布变化被平均掉 ✔）；
- 不区分"采集变化"与"真实变化" ✗（埋点改了会误判 ✔）；
- 发现了不处理 ✗（漂移会持续累积 ✔）。
一条判据
过去一个月，你的输入长度 P95 与任务类型占比变了多少 ✔？
答不出，说明输入分布没有被监控 ✗。