选型指南 架构设计 含可复制代码

AI 功能的可用性测试:五个任务怎么做

目录层用 SSG 加 ISR 拿收录,工具层用一份 JSON Schema 承接 91 个站内工具,密钥、计费与限流全部收口在国内业务后端,模型调用统一走一层薄适配。这篇把我们真实的目录结构、Schema 字段定义、路由闸门、预扣结算伪代码和合规清单完整摊开。

陈
陈默架构组
2026-09-28 · 14 分钟阅读 · 8,432 次浏览

任务描述里提功能名与操作步骤,测的就不是可用性了。

用五个任务测"能不能用起来"

不是测 AI 的准确率 ✗,而是测用户能否用它完成任务 ✔ ——

这是可用性测试 ✔,比指标更接近真实体验 ✔。

五个任务、五个人、一小时 ✔,就能得到非常有用的结论 ✔。

一、把任务写成"用户的目的话"

```

✗ 不好:测试问答功能的准确性

✓ 好: 你刚拿到一份 30 页的会议纪要,需要 10 分钟内知道"有哪些待办、谁负责"

```

要点:任务描述里不要提功能名与操作步骤 ✗(否则测的是"照做能力" ✔)。

二、五个任务怎么选

1. 首次成功(新用户能否做出一个结果 ✔ —— 见首次成功那篇 ✔);

2. 典型高频(日常最常用的一件事 ✔);

3. 边界/困难(长文档、模糊问题 ✔);

4. 失败恢复(出错后能否重试或换路 ✔);

5. 接管场景(需要人工时,转接是否顺畅 ✔ —— 见转人工那篇 ✔)。

三、观察什么(不只看结果)

· 卡在哪里(犹豫、反复改问法 ✔);

· 误解了什么(把功能当成别的东西 ✔ —— 这是文档与引导的问题 ✔);

· 说了什么原话("我以为它会自动保存" ✔ —— 这类原话最有价值 ✔);

· 放弃时的反应(直接关页面?找人帮忙?✔)。

要点:不要引导 ✗("你试试右上角" ✔ 会让测试失去价值 ✔)。

四、五个人的样本够吗

够发现主要问题 ✗→✔:可用性测试的目标不是统计显著性 ✔,而是发现严重问题 ✔。

前 3~5 人通常能暴露大部分阻塞性问题 ✔;如果五个人的问题完全不同 ✔,

说明问题很多,先修最严重的再测 ✔。

五、测完做什么

```

① 按"严重程度 × 出现人数"排序 ✔

② 阻塞性问题(做不下去)优先修 ✔

③ 每条问题对应一个具体改动(改文案/改默认值/改引导 ✔)

④ 改完再测同一批任务(对比能否完成 ✔)

```

一条判据

> 最近一次可用性测试里,有没有一个阻塞性问题被改掉 ✔ 并复测通过 ✔?

> 没有,说明测试只是"看过" ✗。

本文由云枢 AI导航整理,内容以官方来源为准。

相关文章

顺序阅读

← 上一篇:把检索日志用起来:从查询分布发现内容缺口
下一篇:把模型输出接进报表:结构化数据的流转 →

第 131 / 171 篇

术语速查 · 本页出现的 12 个词展开看中文名与一句话解释,点术语看完整条目
  • token词元:模型处理文本的最小单位,中文约 1–2 个汉字;计费与上下文长度都按它算。
  • 转写 / 字幕Transcription:把音视频人声逐句变成带时间戳的文字稿,便于做字幕与章节切分。
  • SSE服务器发送事件:服务器通过长连接持续推送增量文本,是对白逐字出现的常见实现。
  • API应用编程接口:程序之间约定的调用方式;站内工具由服务端调用,浏览器里不出现密钥。
  • CDN内容分发网络:把静态资源缓存到离用户更近的节点,缩短加载时间。
  • 缓存Cache:把结果暂存复用,复用得越多平均耗时越低;需要约定过期与刷新策略。
  • 限流Rate Limit:限制单位时间内的请求次数,防止单用户或异常流量打满服务端。
  • SSG静态站点生成:构建阶段就生成 HTML,访问时直接返回,不必每次请求都渲染。
  • ISR增量静态再生:先返回静态页,再在后台按需重新生成,兼顾速度与更新时效。
  • 灰度发布Canary Release:先让一小部分用户用新版本,确认无误再放量,出问题的爆炸半径最小。
  • 提示词Prompt:交给模型的指令文本;写清角色、任务、输入与输出格式比反复试更省。
  • 积分Credits:站内计费单位:按工具单价预扣,调用失败自动退还;单价以定价页为准。

完整解释与站内出现处见 AI 术语表(40 条)。