可用性工程的可用性评估 - 用户评估

再回顾一下，我在以前的文章提到过，可用性评估大概有以下五种：

• 用户模型（User Model）
• 启发式评估 (Heuristic Evaluation)
• 认知性遍历 (Cognitive Walkthrough)
• 用户测试 (User Testing)
• 用户问卷调查 (Questionnaire)

大体上分为三类：也就是所谓的理论评估、用户评估和专家评估。理论评估和专家评估已经简单介绍过了。现在继续介绍可用性工程的可用性评估 - 用户评估部分也就是用户测试 (User Testing)和用户问卷调查 (Questionnaire)评估方法。这两种方法也是我们常常采用的方法，虽然看似简单，但是也常常会忽略很多重要的因素。以下是这两个方法的具体介绍。

用户测试 (User Testing)

1. 前期准备工作

（1）明确测试的目的

• 帮助改进交互设计
• 通过测试了解交互中有待改进的地方，要搞清楚为什么出错，而不仅仅是知道错了。可以在测试中收集过程数据——定量的去观察发生了什么问题以及为什么会这样。
• 评估交互的整体质量
• 根据一定的衡量指标，通过测试评估交互的水平，比如用户在某个交互任务上耗费的时间，任务是否成功，出错情况等等。也可对两个以上的可选设计针对确定的性能需求进行比较性评测。

（2）准备测试环境
（3）准备测试设备
（4）确定测试过程中的各种角色分配

2．测试执行的六个阶段

• 为了有效地进行可用性测试，需要正确设计、准备和执行试验。一个测试执行过程一般要经过一些步骤。

3．可用性测试的评价 

（1）通过搜集一些客观、量化的数据进行性能评价 

• 完成特定任务的时间
• 在给定时间内完成的任务数目
• 发生的错误数目  
• 成功交互与失败交互的比率
• 恢复错误交互所消耗的时间
• 使用命令或其他特定交互特征（如快捷键）的数量
• 测试完毕后用户还能记住的特定交互特征的数量
• 使用帮助系统的频度
• 使用帮助的时间
• 用户对交互的正面评价与负面评价的比率
• 用户偏离实际任务的次数         

                                                                                                                                                                                                           （2）如果要比较两个可选的交互设计，即对两个交互界面A和B根据某一准则做一个客观的测试，决定那个更好，可以采用如下方法：

• 选择两个同等规模的测试用户群
• 将用户随机分配到两个组中
• 在每个组内执行同样的任务
• 规定第一组只使用系统A，第二组只使用系统B，分别进行测试

（3）统计分析

• 使用统计学原理和手段对得到的测试数据进行进一步的统计分析。比如使用统计学中的假设检验，判断系统A与B有没有统计意义上的明显差别。使用统计学中的点估计、平均值等指标评价差别的大小，对结果的准确性进行判断等。

 

问卷调查(Questionnaire)

优点：

• 问卷法节省时间、经费和人力，这是为什么经常采用问卷法的原因。
• 问卷法调查结果容易量化。
• 问卷调查是一种结构化的调查，其调查问题的表达形式、提问的顺序、答案的方式与方法都是固定的，而且是一种文字交流方式，因此，任何个人，无论是研究者，还是调查员都不可能把主观偏见代入调查研究之中。其调查的统计结果一般都能被量化出来。
• 由于问卷调查结果便于统计处理与分析。现在有大量的相关统计分析软件可以帮助我们进行数据分析，有些甚至能直接帮助我们设计问卷。方便实施和分析。也方便进行数据挖掘。
• 现在的电子问卷克服了纸质问卷的一些缺点，方便实施与调整。虽然他不可能取代面对面的问卷调查，但由于成本更低，更容易及时调整问卷设计上的不足，越来越多的问卷采用电子问卷的形式，可以通过网站，e－mail进行发布与回收。数据直接使用数据库记录，方便筛选与分析。
• 问卷调查法可以进行大规模的调查。无论研究者是否参与了调查，或者参与的多少，都可以从问卷上了解被访者的基本态度与行为。这种方式是其他任何方法也不可能做到的，而且问卷调查可以周期的进行而不受调查研究人员变更的影响,可以跟踪某些问题用户的变化。

缺点：

• 面向设计的问题问卷调查比较难。
  面向未来的调查（为设计进行的调查）很多时候需要了解用户的意图、动机和思维过程。问卷调查这类问题往往效果不佳，或者说问题设计比较难。而开放式的问题，回收质量、分析和统计等工作也会受影响。
• 调查问卷设计难。
  调查问卷的主体内容设计的好坏，将直接影响整个专项调查的价值。问题的设计需要大量的经验，不同的人针对同一个问题，尤其是面向思维的问题，设计问卷差别可能会很大，信度和效度控制需要丰富经验。
• 调查结果广而不深。
  问卷调查是一种用文字进行对话的方法，如果问题太多，被访者会产生厌烦情绪，因此，一般的问卷都比较简短，也就不可能深入探讨某一问题及其原因；
• 问卷调查经常采用由用户自己填答问卷的方式，所以其调查结果的质量常常得不到保证。
  因为在被访者填答问卷时，用户的调查过程我们很难得知，是我们需要调查的真实用户吗？（经常有人冒充用户参与调查，目的是为了获得参与调查的回报与奖励）用户当时的情绪状况是怎么样的？是否有其他人影响用户的回答？是否是同别人商量进行填答？用户是否是随意填写问卷的？得到的结果是用户的真实情况？研究者并不知道，所以有人说过：“问卷调查法所得资料的信度与效度问题一直是困扰问卷法的‘幽灵’”。
• 问卷调查的回收率难以保证。
  问卷调查必须保证有一定的回收率，否则资料的代表性就会受到影响，回收率受问卷长度，问题难易程度，是否涉及隐私，参与调查获得回报多少等因素相关。另外，网络调查的回收率一般都不高，质量也难以保证。

问卷调查的执行过程

1. 用户要求分析：设定软件的质量目标，准确描述质量目标，通过用户调查，了解用户在使用方面的切实感受。可以定义一些通用的可用性质量因素
2. 问卷设计：根据用户需求分析进行问卷的设计，需要遵循这样的原则：从用户的角度出发，问题要精确、概括，避免二义性；可以采用的问卷类型包括事实陈述、用户填写意见、用户对事物的态度等；问题形式可以采用单项选择，多项选择（选择所有适用选项)、李克特量表（Likert scales)、开放式问答题等形式
3. 问卷实施及结果分析：采用抽样调查、针对性调查、广泛调查（附带收集用户信息并进行分类）等方式，其实施可以采用发放调查表、电子邮件、网页等方式。结果分析主要是对调查收集到的数据运用统计方法进行分析、归纳，得到有用的信息

问卷分析

• 选择题：统计不同选项所占的百分比
• 李克特量表（Likert scales)：统计每个问题的平均得分和标准差等
• 开放式问题：对答案进行归纳，分类和总结

 

 

以上内容百分之九十不是我写的，都来自一个课件，详见文末参考资料。

可用性评估的五种方法已经介绍完毕。其实应该根据软件的特性和目标对象，销售市场来决定对软件的可用性评估的具体方法。各种方法各有优缺点，我们所要做的就是因地制宜巧用各种方法，也可采用多种方法相结合以得到更好的评估结果。

 

参考资料：
其实本文的大部分资料来自：
http://wenku.baidu.com/view/ab600322192e45361066f54d.html
上的“主讲：刘婷婷 - 人机交互界面设计”PPT文档。（我实在找不到具体最终的来源）
这个人机交互界面设计的PPT做得非常不错，推荐。