评测 owner 必须独立于提示词作者。
"谁来负责提示词"是最常含糊的问题
AI 项目里最容易出现的责任真空 ✗：提示词谁都能改 ✔、评测没人维护 ✔、
线上出问题大家一起看 ✔ —— 出事时也就没人负责 ✔。
把四个角色写清楚 ✔（小团队可以兼任，但必须写明 ✔）。
一、四个角色与职责
| 角色 | 负责 | 不负责 |
|---|---|---|
| 产品/业务 | 定义成功标准、判定口径、边界（不该做什么 ✔） | 写提示词细节 ✔ |
| 提示词/应用工程 | 提示词版本、组装逻辑、参数、改动流程 ✔ | 定义业务口径 ✔ |
| 评测 owner | 样本保鲜、判定脚本、指标计算、季度校准 ✔ | 决定业务优先级 ✔ |
| 平台/运维 | 配额、限流、降级、监控、成本看板 ✔ | 改业务提示词 ✔ |
关键：评测 owner 必须独立于提示词作者 ✗→✔（自己写题自己判分最容易自我安慰 ✔）。
二、三个"必须有唯一负责人"的东西
1. 提示词版本（谁批准上线 ✔）；
2. 评测集与判定标准（谁改、改完怎么通知 ✔）；
3. 生产环境的开关与配额（谁能动、怎么审计 ✔ —— 见灰度开关那篇 ✔）。
三、协作的三个固定动作
· 改动评审：提示词改动要有一人复核 ✔（不必是会议，异步即可 ✔）；
· 每周同步：失败类型 Top 3 + 待办（见每周三表那篇 ✔）；
· 季度校准：评测口径与样本一起过一遍 ✔（见评测组织能力那篇 ✔）。
四、三个反模式
· 产品直接改线上提示词 ✗（无版本、无评测 ✔）；
· 评测由提示词作者兼任且无人复核 ✗；
· "大家一起看" ✗（等于没人看 ✔）。
五、小团队的最小配置
```
1 人：产品 + 业务口径
1 人：提示词 + 工程（兼平台）
1 人：评测 owner（可由前两人之一担任，但判定脚本与样本必须独立可复跑 ✔）
每周 30 分钟同步 · 每季度 2 小时校准
```
一条判据
> 问"这个功能的提示词谁负责、评测集谁维护" ✔，能否立刻给出名字 ✔？
> 含糊或"大家一起"，说明责任没落地 ✗。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：把检索质量接到业务指标：从答案质量到业务结果
下一篇：把上下文当缓存来管：前缀稳定与命中率 →
第 134 / 171 篇