「明显更好了」不是结论，净胜数与失败类型变化才是。
提示词改动也要做对照实验
改一句措辞，效果是变好还是变坏？凭"试几个例子"很容易误判——因为样本太少、方差太大，
而且人容易记住支持自己判断的那些例子。把提示词改动做成可复现的对照实验，结论才站得住。
四步做法
一、固定评测集与判定标准
用同一批样本（100~300 条）、同一套判定规则（见"评测集"那篇）。判定标准要先写，
不能看完结果再定。
二、一次只改一个变量
· 对照：prompt_v3；实验：prompt_v3 + 一处改动；
· 模型、参数、温度、检索结果都保持不变，否则无法归因；
· 改动写进变更说明（动机、做法、预期影响）。
三、成对比较，而不是绝对打分
同一批样本上，两个版本各跑一遍，逐条比较：
· 更好 / 一样 / 更差；
· 统计"更好减更差"的净胜数；
· 关注失败类型的变化（例如变好的同时"编造"变多了，是恶化）。
四、记录可复现的信息
版本号、样本集版本、模型版本、参数、原始输出（脱敏后）。
下次有人质疑，能直接复跑。
常见误判
· 只看几个惊艳例子：挑出来的例子通常不代表整体分布；
· 一次改三处：变好了也不知道是哪一处起的作用；
· 用训练/调试过的样本当评测集：等于自己给自己判卷（过拟合）；
· 忽略长度与成本：提示词变长会同时抬高成本与延迟，要一并记录；
· 结论不写样本量：应如实写"在 N 条样本上，净胜 X 条"，而不是"明显更好"。
最小可执行流程
1. 冻结评测集与判定标准；
2. 跑对照版本，得到基线（正确率 + 失败类型分布 + 成本/延迟）；
3. 改一处，跑实验版本；
4. 逐条成对比较，输出净胜数与失败类型变化；
5. 达标就合并；不达标就回滚，并把这次结论写进变更说明（包含没变好的地方）。
本文由云枢 AI导航整理，内容以官方来源为准。
相关文章
顺序阅读
← 上一篇：数据脱敏与最小必要：把用户数据喂给模型前该做什么
下一篇：智能体的记忆分层：短期、长期与共享 →
第 25 / 171 篇