线上反馈是最便宜的高质量数据
用户点踩、改写、放弃、追问 —— 这些行为自带真实分布 ✔，比任何合成数据都值钱 ✔。
但它们默认是散的 ✗，需要"回填"成可用资产 ✔：评测样本、检索标注、提示词改进依据 ✔。
一、能回填的三类资产
| 资产 | 来源 | 用途 |
|---|---|---|
| 评测样本 | 负反馈 + 人工确认 | 回归（见评测集那篇 ✔） |
| 检索标注 | "答案不对"里筛出"片段没给对"的 | 检索指标与切分改进（见检索回归那篇 ✔） |
| 提示词/规则依据 | 失败类型归因 | 改提示词、加校验（见提示词版本那篇 ✔） |
关键纪律：回填必须人工确认 ✔ —— 用户点踩不等于"答案错" ✗（可能是需求变了 ✗）。
二、回填流程（五步）
- 采样：每周按比例抽负反馈（例如 20%，上限 50 条 ✔），避免只看极端 ✔；
- 确认：人工判"是否真的错、错在哪一类" ✔（用有限的失败类型表 ✔）；
- 脱敏：去掉个人信息 ✔（见数据脱敏那篇 ✔）—— 回填进评测集也要合规 ✔；
- 入库：加进评测集（带来源与时间 ✔），并标
from_production: true✔； - 闭环：修复后跑评测集，确认该样本已通过 ✔（这条样本就成了"防复发"资产 ✔）。
三、避免"评测集被线上污染"
线上样本多了会带来一个隐患 ✗：如果反复用同一批线上样本调参 ✔，
评测集就变成了训练集 ✗（过拟合 ✔）。做法：
- 评测集分区：
核心集（冻结、不许调参时看 ✔）+线上集（定期更新、用于发现新问题 ✔）； - 报告里分开呈现两组指标 ✔（差异大说明核心集不代表性 ✔）；
- 每季度从线上集晋升部分样本到核心集（替换等量的旧样本 ✔），保持代表性 ✔。
四、四个常见错误
- 不脱敏就回填 ✗（合规风险 ✔）；
- 只回填"错得离谱"的 ✗ → 评测集偏向极端，测不出普通退化 ✔；
- 回填后没人跑 ✗（见评测接进 CI 那篇 ✔）；
- 用回填样本宣称"效果提升" ✗ —— 训练/调参用过的样本不能再当评测证据 ✔。
五、一条判据
每个月能否从线上反馈里稳定产出 20~50 条可用评测样本 ✔？
不能，说明反馈还停在"日志"阶段 ✔，没有回填成资产 ✗。