用户体验度量：收集、分析与呈现

一本量化用户体验的实操书，集合了作者在该领域40余年的经验与教训
　　对实际产品有实用建议：
　　★在什么情境下收集哪些度量
　　★如何收集这些度量
　　★如何使用不同的分析方法对数据进行梳理
　　★如何以一种清晰、吸引人的方式呈现结果
　　第2版新增：
　　★测量情绪体验的新技术，包括手环和面部表情的自动分析。
　　★眼动追踪技术的进展，包括远程基于摄像头的眼动追踪。
　　★新的案例，包括UX领域目前正在做的事情（第10章案例研究全部更新）。
　　★收集和分析UX数据的新方法和工具，包括多种在线工具。
　　★贯通全书的诸多新示例。

如何量化用户体验对有效提高产品的使用质量至关重要。本书详尽地介绍了如何有效且可靠地收集、分析和呈现典型的用户体验度量数据：操作绩效（正确率等）、用户体验问题（频率和严重程度）、自我报告式的满意度及生理/行为数据（眼动追踪等）。同时对“综合性量化度量数据”等问题进行了专门介绍，而且结合案例等形式对当前与用户体验相关的新内容（如用户体验对NPS的影响）进行了说明。本书内容翔实，是一本值得用户体验从业人员研读的指导性书籍，同时也可以作为相关课程的参考教材。

Thomas S. (Tom) Tullis 是 富 达 投 资 公 司（Fidelity Investments）用户体验研究部门（User Experience Research）的高级副总裁，同时也是本特利大学信息设计学院人因工程方向的兼职教授。他 1993 年加入富达用户体验，对该公司用户体验部门的发展起了重要作用，该部门的设备包括一个技术发展水平（state-of-the-art）可用性研究实验室。在加入富达投资公司之前，Tom 曾在佳能信息系统（Canon Information Systems）、麦道（ McDonnell Douglas）、优利系统公司（Unisys Corporation）和贝尔实验室（Bell Laboratories）任职。他和富达的可用性研究团队曾被多家出版物专题介绍过，包括《新闻周刊》（Newsweek）、Business 2.0、Money、《波士顿环球报》（The Boston Globe）、《华尔街日报》（The Wall Street Journal）和《纽约时报》（The New York Times）。Tuillis 在莱斯大学获得学士学位、在新墨西哥州立大学获得实验心理学硕士学位以及在莱斯大学获得工程心理学博士学位。他有 35 年以上的人机界面研究方面的经验，在诸多技术期刊上发表了 50 多篇文章，他曾在国内和国际会议上做特邀报告。同时，Tom 拥有8 项美国专利。合作完成（与 Bill Albert 和 Donna Tedesco 合著）的 Beyond the Usability Lab: Conducting Large-Scale Online User Experience Studies 在2010 年由 Elsevier/Morgan Kauffman 出版。Tullis 是 2011 年用户体验行业协会（User Experience Professional Association，UXPA）终身成就奖的获得者，2013 年被 SIGCHI（ACM 人机交互特别兴趣组）遴选为人机交互学会会士（CHI Academy）。可通过 @TomTullis 关注 Tom。William (Bill) Albert 目前是本特利大学设计和可用性研究中心的执行总监（Executive Director），也是本特利大学信息设计学院人因工程方向的兼职教授。在加入本特利大学之前，他是富达投资公司用户体验部的总监，Lycos 公司的高级用户界面研究员，也曾是 Nissan Cambridge Basic Research的博士后研究人员。Albert 曾在 30 多个国内和国际会议上发表和报告过他的研究。2010 年，合作完成（与 Tom Tullis 和 Donna Tedesco 合著）的 Beyond the Usability Lab: Conducting Large-Scale Online User Experience Studies， 并 由 Elsevier/Morgan Kauffman 出版。他是 Journal of Usability Studies 的共同主编（co-Editor in Chief）。因为他在人因学和空间认知（spatial cognition）领域内的研究，Albert 获得了加州大学圣塔芭芭拉分校和日本政府所授予的奖项。他从华盛顿大学获得学士和硕士学位（地理信息系统），在波士顿大学（地理―空间认知）获得博士学位。他在 Nissan Cambridge Basic Research 完成了博士后研究。可通过 @UXMetrics 关注 Bill。

第 1 章 引言 / 1
1．1 什么是用户体验 / 4
1．2 什么是用户体验度量 / 6
1．3 用户体验度量的价值 / 8
1．4 适用于每个人的度量方法 / 9
1．5 用户体验度量的新技术 / 10
1．6 十个关于用户体验度量的常见误解 / 11
误解 1 ：度量需要花太多的时间而难以收集 / 11
误解 2 ：用户体验度量要花费太多的钱 / 12
误解 3 ：当集中在细小的改进上时，用户体验度量是没有用的 / 12
误解 4 ：用户体验度量对我们理解原因没有帮助 / 12
误解 5 ：用户体验数据的噪声太多 / 13
误解 6 ：只能相信自己的直觉 / 13
误解 7 ：度量不适用于新产品 / 13
误解 8 ：没有度量适用于我们正在处理的问题 / 14
误解 9 ：度量不被管理层所理解或赞赏 / 14
误解 10 ：用小样本很难收集到可靠的数据 / 14
第 2 章 背景知识 / 16
2．1 自变量和因变量 / 16
2．2 数据类型 / 17
2．2．1 称名数据 / 17
2．2．2 顺序数据 / 18
2．2．3 等距数据 / 18
2．2．4 比率数据 / 19
2．3 描述性统计 / 20
2．3．1 集中趋势的测量 / 20
2．3．2 变异性的测量 / 22
2．3．3 置信区间 / 23
2．3．4 通过误差线来呈现置信区间 / 25
2．4 比较平均数 / 27
2．4．1 独立样本 / 27
2．4．2 配对样本 / 29
2．4．3 比较两个以上的样本 / 30
2．5 变量之间的关系 / 32
2．6 非参数检验 / 33
2．7 用图形化的方式呈现数据 / 35
2．7．1 柱形图或条形图 / 36
2．7．2 折线图 / 38
2．7．3 散点图 / 40
2．7．4 饼图或圆环图 / 41
2．7．5 堆积条形图 / 43
2．8 总结 / 44
第 3 章 规划 / 45
3．1 研究目标 / 45
3．1．1 形成式可用性 / 46
3．1．2 总结式可用性 / 46
3．2 用户目标 / 47
3．2．1 绩效 / 47
3．2．2 满意度 / 48
3．3 选择正确的度量：10种可用性研究 / 48
3．3．1 完成一个业务 / 50
3．3．2 比较产品 / 50
3．3．3 评估同一种产品的使用效率 / 51
3．3．4 评估导航和 / 或信息架构 / 51
3．3．5 提高知晓度 / 52
3．3．6 问题发现 / 53
3．3．7 使应急产品的可用性最大化 / 53
3．3．8 创造整体的正向用户体验 / 54
3．3．9 评估微小改动的影响 / 55
3．3．10 比较替代性的设计方案 / 55
3．4 评估方法 / 56
3．4．1 传统（引导式）的可用性测试 / 56
3．4．2 在线（非引导式）可用性测试 / 57
3．4．3 在线调查 / 60
3．5 其他研究细节 / 61
3．5．1 预算和时间表 / 61
3．5．2 参与者 / 62
3．5．3 数据收集 / 64
3．5．4 数据整理 / 64
3．6 总结 / 65
第 4 章 绩效度量 / 67
4．1 任务成功 / 69
4．1．1 二分式成功 / 70
4．1．2 成功等级 / 75
4．1．3 任务成功测量中存在的问题 / 78
4．2 任务时间 / 79
4．2．1 测量任务时间的重要性 / 80
4．2．2 如何收集和测量任务时间 / 80
4．2．3 分析和呈现任务时间数据 / 83
4．2．4 使用时间数据时需要考虑的问题 / 87
4．3 错误 / 89
4．3．1 何时测量错误 / 89
4．3．2 什么构成了错误 / 90
4．3．3 收集和测量错误 / 90
4．3．4 分析和呈现错误 / 91
4．3．5 使用错误度量时需要考虑的问题 / 93
4．4 效率 / 93
4．4．1 收集和测量效率 / 94
4．4．2 分析和呈现效率数据 / 95
4．4．3 结合任务成功和任务时间的效率 / 98
4．5 易学性 / 100
4．5．1 收集和测量易学性数据 / 101
4．5．2 分析和报告易学性数据 / 102
4．5．3 测量易学性时需要考虑的问题 / 104
4．6 总结 / 104
第 5 章 基于问题的度量 / 106
5．1 什么是可用性问题 / 107
5．2 如何发现可用性问题 / 108
5．2．1 面对面研究 / 110
5．2．2 自动化研究 / / 110
5．3 严重性评估 / 110
5．3．1 基于用户体验的严重性评估 / 111
5．3．2 综合多种因素的严重性评估 / 112
5．3．3 严重性等级评估系统的应用 / 113
5．3．4 严重性等级评估系统的忠告 / 114
5．4 分析和报告“可用性问题相关的度量” / 115
5．4．1 独特问题的频次 / 115
5．4．2 每个参与者遇到的问题数量 / 117
5．4．3 参与者人次 / 118
5．4．4 问题归类 / 119
5．4．5 按任务区分问题 / 119
5．5 可用性问题发现中的一致性 / 120
5．6 可用性问题发现中的偏差 / 123
5．7 参与者数量 / 125
5．7．1 五个参与者足够 / 125
5．7．2 五个参与者不够 / 127
5．7．3 我们的建议 / 129
5．8 总结 / 129
第 6 章 自我报告度量 / 131
6．1 自我报告数据的重要性 / 132
6．2 评分量表 / 132
6．2．1 Likert 量表 / 133
6．2．2 语义差异量表 / 134
6．2．3 什么时候收集自我报告数据 / 134
6．2．4 如何收集自我报告数据 / 135
6．2．5 自我报告数据收集中的偏差 / 135
6．2．6 评分量表的一般指导原则 / 136
6．2．7 分析评分量表数据 / 137
6．3 任务后评分 / 141
6．3．1 易用性 / 141
6．3．2 情景后问卷（ASQ） / 141
6．3．3 期望测量 / 142
6．3．4 任务后自我报告度量的比较 / 143
6．4 测试后评分 / 147
6．4．1 合并单个任务的评分 / 147
6．4．2 系统可用性量表 / 148
6．4．3 计算机系统可用性问卷 / 150
6．4．4 用户界面满意度问卷 / 152
6．4．5 有效性、满意度和易用性的问卷 / 153
6．4．6 产品反应卡 / 154
6．4．7 测试后自我报告度量的比较 / 155
6．4．8 净推荐值 / 157
6．5 用SUS比较设计 / 158
6．6 在线服务 / 159
6．6．1 网站分析和测量问卷 / 159
6．6．2 美国客户满意度指数 / 161
6．6．3 OpinionLab / 164
6．6．4 在线网站调查的问题 / 166
6．7 其他类型的自我报告度量 / 166
6．7．1 评估特定的属性 / 166
6．7．2 具体元素的评估 / 169
6．7．3 开放式问题 / 171
6．7．4 知晓度和理解 / 172
6．7．5 知晓度和有用性差距 / 173
6．8 总结 / 174
第 7 章 行为和生理度量 / 176
7．1 自发言语表情的观察与编码 / 176
7．2 眼动追踪 / 178
7．2．1 如何进行眼动追踪 / 178
7．2．2 眼动数据的可视化 / 180
7．2．3 兴趣区 / 183
7．2．4 常用眼动度量指标 / 186
7．2．5 眼动分析技巧 / 188
7．2．6 瞳孔反应 / 189
7．3 情感度量 / 190
7．3．1 Affffectiva 公司和 Q 传感器 / 191
7．3．2 蓝色泡沫实验室和 Emovision / 193
7．3．3 Seren 公司和 Emotlv / 195
7．4 紧张和其他生理指标 / 197
7．4．1 心率变异性 / 197
7．4．2 心率变异性和皮肤电研究 / 198
7．4．3 其他测量手段 / 199
7． 5 总结 / 201
第 8 章 合并和比较度量 / 203
8．1 单一可用性分数 / 203
8．1．1 根据预定目标合并度量 / 204
8．1．2 根据百分比合并度量 / 205
8．1．3 根据 z 分数合并数据 / 211
8．1．4 使用单一可用性度量（SUM） / 213
8．2 可用性记分卡 / 215
8．3 与目标和专家绩效比较 / 219
8．3．1 与目标比较 / 219
8．3．2 与专家绩效比较 / 222
8．4 总结 / 223
第 9 章 专题 / 225
9．1 实时动态网站数据 / 225
9．1．1 基本的网站分析 / 226
9．1．2 点击率 / 229
9．1．3 弃用率 / 230
9．1．4 A/B 研究 / 231
9．2 卡片分类数据 / 234
9．2．1 开放式卡片分类数据的分析 / 235
9．2．2 封闭式卡片分类数据的分析 / 241
9．2．3 树测试 / 244
9．3 可及性数据 / 246
9．4 投资回报率数据 / 249
9．5 总结 / 254
第 10 章 案例研究 / 255
10．1 净推荐与良好用户体验的价值 / 255
10．1．1 方法 / 256
10．1．2 结果 / 257
10．1．3 在界面设计中对投入进行优先级设置 / 258
10．1．4 讨论 / 260
10．1．5 总结 / 261
参考文献 / 262
作者简介 / 262
10．2 度量指纹采集的反馈效果 / 263
10．2．1 方法 / 263
10．2．2 讨论 / 271
10．2．3 总结 / 273
致谢 / 273
参考文献 / 273
作者简介 / 274
10．3 Web体验管理系统的再设计 / 274
10．3．1 测试迭代 / 275
10．3．2 数据收集 / 276
10．3．3 工作流程 / 277
10．3．4 结果 / 281
10．3．5 结论 / 283
参考文献 / 283
作者简介 / 283
10．4 使用度量来改善大学招生简章网站 / 284
10．4．1 样例 1 ：可用性测试后决定行动 / 285
10．4．2 样例 2 ：网站追踪数据 / 288
10．4．3 样例 3 ：人物角色迭代的定位测量 / 290
10．4．4 总结 / 291
致谢 / 292
参考文献 / 292
作者简介 / 292
10．5 利用生物测量技术测量可用性 / 293
10．5．1 背景 / 293
10．5．2 方法 / 294
10．5．3 生物测量学的发现 / 295
10．5．4 定性结果 / 297
10．5．5 总结及给从业人员的建议 / 298
致谢 / 299
参考文献 / / 299
作者简介 / 300
第 11 章 通向成功的 10 个关键点 / 301
11．1 让数据活起来 / 301
11．2 主动去度量 / 303
11．3 度量比想的便宜 / 304
11．4 早计划 / 305
11．5 给产品确定基线 / 306
11．6 挖掘数据 / 307
11．7 讲商业语言 / 308
11．8 呈现置信程度 / 308
11．9 不要误用度量 / 309
11．10 简化报告 / 310
参考文献 / 312

欢迎翻阅《用户体验度量 ：收集、分析与呈现》第 2 版。用户体验（User Experience）（经常被简称为 UX）自本书第 1 版出版以来已发生了相当多的变化。 以 iPhone、iPad、Twitte 等为代表的硬件和应用形成了人们对类似日常技术的使用体验和期望。用户期待随手拿起一个新的应用或硬件就可以正确地使用起来。确保这些技术可以实现这样的目标正是本书的出发点。

UX 涵盖了用户与产品、设备或系统交互时所涉及的所有内容。很多人似乎都把用户体验认为是一些不可被测量或量化的模糊特性。但我们认为 UX 是可以被度 量或量化的。用来测量用户体验的工具可对下列内容进行度量（metrics）。

l 用户能否使用智能手机成功地找到他们健康计划中距离最近的医生？

l 在旅行网站上预订一个航班需要用多长时间？

l 用户在尝试登录一个新系统时犯了多少错误？

l 有多少用户可以成功地使用他们平板计算机上新安装的应用控制数字录像机去录制所有他们喜爱的电视节目？

l 有多少用户在进入一个“直奔终点”的直梯时没有首先选择自己要去的楼层， 然后才发现直梯中根本就没有选择面板。

l 有多少用户在注册新业务时由于看不清被新手机电池盖着的很小的序列号而倍感受挫？

l 有多少用户在没有文字说明的情况下能够很轻易地把他们的新书架组装起来，并因此感觉愉悦？

这些都是可以通过测量获得的行为和态度方面的示例。其中，有的可能比其他的要容易测量，但它们都是可以测量的。任务成功率、任务时间、鼠标点击或敲击键盘的次数、挫折或愉悦感的自我报告式评分，甚至注意网页上某个链接的注视点个数都是 UX 度量的例子。这些度量可以使你对用户体验形成非常有价值的见解。

为什么需要测量用户体验呢？答案很简单 ：这有助于提升用户体验。对今天的多数消费类产品、应用和网站来说，如果不提升用户的体验，就会落后。UX 度量可以帮助你确定你相对于竞争对手所处的位置，也可以帮助你准确定位，以集中力量对需要提高的地方进行改进（即用户感觉最困惑、低效或受挫的地方）。这是一本操作性的指导图书，而不是一本理论专著。我们主要就实际中的应用提供一些建议，比如 ：在什么情境下收集哪些度量，如何收集这些度量，如何使用不同的分析方法对数据进行梳理，以及如何以一种最清晰、最吸引人的方式呈现结果？我们也将会与你分享实践中的一些教训，这些教训源于我们在该领域内 40 多年的经验总结。

这本书适合对提高任何类型产品用户体验有兴趣的任何人，无论这些产品是消费类产品、计算机系统、应用程序、网站，还是其他任何类型的物品。只要是人使用的产品，那么你就可以测量与使用该产品有关的用户体验。那些关注如何提高用户体验的人和那些可以从本书获益的人可以来自许多不同的专业和领域，包括可用性和用户体验（UX）专业人员、交互设计师、信息架构师、产品设计师、Web 设计师和开发者、软件开发人员、图形设计师、销售和市场研究从业人员，以及项目和产品管理人员。

与第 1 版相比，本书（第 2 版）有哪些更新呢？下面是一些最突出的内容。

l 测量情绪体验的新技术，包括手环和面部表情的自动分析。

l 眼动追踪技术的进展，包括远程基于摄像头的眼动追踪。

l 新的案例，包括 UX 领域目前正在做的事情（第 10 章案例研究全部更新）。

l 收集和分析 UX 数据的新方法和工具，包括多种在线工具。

l 通贯全书的诸多新示例。

我们希望这本书在探求如何提高产品的用户体验等方面对你有所帮助。我们很想听到你的成功（和失败！）。我们真的很重视许多读者针对第 1 版所给予的反馈和建议。大部分反馈都有助于促成我们在这一版本中所进行的内容上的调整和新增。

你可以通过我们的网站与我们取得联系 ：www.MeasuringUserExperience.com。在那里，你也可以找到一些补充性材料，比如 ：本书多数例子中所提到的真实电子数据表格和图形，以及可以帮助你测量用户体验的相关工具等方面的信息。