提示词改动也要做对照实验
改一句措辞，效果是变好还是变坏？凭"试几个例子"很容易误判——因为样本太少、方差太大，
而且人容易记住支持自己判断的那些例子。把提示词改动做成可复现的对照实验，结论才站得住。
四步做法
一、固定评测集与判定标准
用同一批样本（100~300 条）、同一套判定规则（见"评测集"那篇）。判定标准要先写，
不能看完结果再定。
二、一次只改一个变量
- 对照：
prompt_v3；实验：prompt_v3 + 一处改动； - 模型、参数、温度、检索结果都保持不变，否则无法归因；
- 改动写进变更说明（动机、做法、预期影响）。
三、成对比较，而不是绝对打分
同一批样本上，两个版本各跑一遍，逐条比较：
- 更好 / 一样 / 更差；
- 统计"更好减更差"的净胜数；
- 关注失败类型的变化（例如变好的同时"编造"变多了，是恶化）。
四、记录可复现的信息
版本号、样本集版本、模型版本、参数、原始输出（脱敏后）。
下次有人质疑，能直接复跑。
常见误判
- 只看几个惊艳例子：挑出来的例子通常不代表整体分布；
- 一次改三处：变好了也不知道是哪一处起的作用；
- 用训练/调试过的样本当评测集：等于自己给自己判卷（过拟合）；
- 忽略长度与成本：提示词变长会同时抬高成本与延迟，要一并记录；
- 结论不写样本量：应如实写"在 N 条样本上，净胜 X 条"，而不是"明显更好"。
最小可执行流程
- 冻结评测集与判定标准；
- 跑对照版本，得到基线（正确率 + 失败类型分布 + 成本/延迟）；
- 改一处，跑实验版本；
- 逐条成对比较，输出净胜数与失败类型变化；
- 达标就合并；不达标就回滚，并把这次结论写进变更说明（包含没变好的地方）。