调参用过的样本，不能再当评测证据。
线上反馈是最便宜的高质量数据
用户点踩、改写、放弃、追问 —— 这些行为自带真实分布 ✔，比任何合成数据都值钱 ✔。
但它们默认是散的 ✗，需要"回填"成可用资产 ✔：评测样本、检索标注、提示词改进依据 ✔。
一、能回填的三类资产
| 资产 | 来源 | 用途 |
|---|---|---|
| 评测样本 | 负反馈 + 人工确认 | 回归（见评测集那篇 ✔） |
| 检索标注 | "答案不对"里筛出"片段没给对"的 | 检索指标与切分改进（见检索回归那篇 ✔） |
| 提示词/规则依据 | 失败类型归因 | 改提示词、加校验（见提示词版本那篇 ✔） |
关键纪律：回填必须人工确认 ✔ —— 用户点踩不等于"答案错" ✗（可能是需求变了 ✗）。
二、回填流程（五步）
1. 采样：每周按比例抽负反馈（例如 20%，上限 50 条 ✔），避免只看极端 ✔；
2. 确认：人工判"是否真的错、错在哪一类" ✔（用有限的失败类型表 ✔）；
3. 脱敏：去掉个人信息 ✔（见数据脱敏那篇 ✔）—— 回填进评测集也要合规 ✔；
4. 入库：加进评测集（带来源与时间 ✔），并标 from_production: true ✔；
5. 闭环：修复后跑评测集，确认该样本已通过 ✔（这条样本就成了"防复发"资产 ✔）。
三、避免"评测集被线上污染"
线上样本多了会带来一个隐患 ✗：如果反复用同一批线上样本调参 ✔，
评测集就变成了训练集 ✗（过拟合 ✔）。做法：
· 评测集分区：核心集（冻结、不许调参时看 ✔）+ 线上集（定期更新、用于发现新问题 ✔）；
· 报告里分开呈现两组指标 ✔（差异大说明核心集不代表性 ✔）；
· 每季度从线上集晋升部分样本到核心集（替换等量的旧样本 ✔），保持代表性 ✔。
四、四个常见错误
· 不脱敏就回填 ✗（合规风险 ✔）；
· 只回填"错得离谱"的 ✗ → 评测集偏向极端，测不出普通退化 ✔；
· 回填后没人跑 ✗（见评测接进 CI 那篇 ✔）；
· 用回填样本宣称"效果提升" ✗ —— 训练/调参用过的样本不能再当评测证据 ✔。
五、一条判据
> 每个月能否从线上反馈里稳定产出 20~50 条可用评测样本 ✔？
> 不能，说明反馈还停在"日志"阶段 ✔，没有回填成资产 ✗。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：检索的「新鲜度」治理：增量索引与过期标注
下一篇：把「不确定性」传给下游：置信、区间与拒答 →
第 66 / 171 篇