用五个任务测"能不能用起来"
不是测 AI 的准确率 ✗,而是测用户能否用它完成任务 ✔ ——
这是可用性测试 ✔,比指标更接近真实体验 ✔。
五个任务、五个人、一小时 ✔,就能得到非常有用的结论 ✔。
一、把任务写成"用户的目的话"
✗ 不好:测试问答功能的准确性
✓ 好: 你刚拿到一份 30 页的会议纪要,需要 10 分钟内知道"有哪些待办、谁负责"
要点:任务描述里不要提功能名与操作步骤 ✗(否则测的是"照做能力" ✔)。
二、五个任务怎么选
- 首次成功(新用户能否做出一个结果 ✔ —— 见首次成功那篇 ✔);
- 典型高频(日常最常用的一件事 ✔);
- 边界/困难(长文档、模糊问题 ✔);
- 失败恢复(出错后能否重试或换路 ✔);
- 接管场景(需要人工时,转接是否顺畅 ✔ —— 见转人工那篇 ✔)。
三、观察什么(不只看结果)
- 卡在哪里(犹豫、反复改问法 ✔);
- 误解了什么(把功能当成别的东西 ✔ —— 这是文档与引导的问题 ✔);
- 说了什么原话("我以为它会自动保存" ✔ —— 这类原话最有价值 ✔);
- 放弃时的反应(直接关页面?找人帮忙?✔)。
要点:不要引导 ✗("你试试右上角" ✔ 会让测试失去价值 ✔)。
四、五个人的样本够吗
够发现主要问题 ✗→✔:可用性测试的目标不是统计显著性 ✔,而是发现严重问题 ✔。
前 3~5 人通常能暴露大部分阻塞性问题 ✔;如果五个人的问题完全不同 ✔,
说明问题很多,先修最严重的再测 ✔。
五、测完做什么
① 按"严重程度 × 出现人数"排序 ✔
② 阻塞性问题(做不下去)优先修 ✔
③ 每条问题对应一个具体改动(改文案/改默认值/改引导 ✔)
④ 改完再测同一批任务(对比能否完成 ✔)
一条判据
最近一次可用性测试里,有没有一个阻塞性问题被改掉 ✔ 并复测通过 ✔?
没有,说明测试只是"看过" ✗。