2010年5月2日星期日

软件的可用性测试概述

今天继续软件可用性测试的系列文章,先前的文章很不完整,可能会让人看得一头雾水,今天将比较完整地从可用性测试的定义延伸,然后谈谈可用性过程(Usability process)以及可用性测试的方法,以下文字大多来自期刊文献的拼凑,具体内容,请参阅本文后的参考文献。

Hanyi on ET 软件可用性测试系列文章:

  1. 软件的可用性测试(usability testing) 要点总结(上)
  2. 软件的可用性测试(usability testing) 要点总结(下)
  3. 可用性测试问卷的一个简单示例
 

软件的可用性定义小结:

软件的可用性定义[引用1]:
ISO 9241-11 (ISO 1993c)的原话:"The effectiveness, efficiency and satisfaction with which specified users achieve specified goals in particular environments".
ISO 9241-11国际标准对可用性定义如下:产品在特定使用环境下为特定用户用于特定用途时所具有的有效性(effectiveness)、效率(efficiency)和用户主观满意度(satisfaction)。其中,有效性是指用户完成特定任务和达到特定目标时所具有的正确和完整程度;效率是指用户完成任务的正确和完整程度与所使用资源(如时间)之间的比率;满意度就是用户在使用产品过程中所感受到的主观满意和接受程度。从人的角度来看软件系统是否易用,高效,使人满意。
下图清晰地表明了可用性各个关键元素的关系:

quality_of_use_usebiltytest_hanyionet 

可用性工程的好处
对产品开发厂商来说,可以减少后期维护,降低开发成本,缩短工期,提高用户接受度,增强产品竞争力,提高企业信誉度。 对用户和使用单位来说,可以提高用户生产效率,减少培训和技术支持费用,提高用户工作的舒适满意程度,提高系统建设投资效益和使用效益。

可用性测试的时机
尽早做,经常做。问题越早发现和弥补,所造成的损失就越低。

ISO 9241: 9241是关于办公室环境下交互式计算机系统的人类工效学国际标准,它由17个部分组成,根据人类工效学和可用性原理,分别对各种硬件交互设备属性和软件用户界面设计问题作了详细的规定和建议。可以对一个产品设计符合该标准的程度进行评估和认证。

 

可用性过程(Usability process):

可用性过程帮助用户交互设计师在回答这些问题分析阶段的设计和支持在设计阶段(见下图[引用2])。可用性的方法有很多,所有的方法基本上基于同样的可用性过程,所以我们有一个从不同的方法中而来的通用的可用性过程抽象[引用2]。下图已经很清晰了表明了可用性过程的各个阶段以及具体操作,具体过程的步骤的分析请看[引用2]

The_usabilty_testing_process_hanyionet

 

可用性测试的方法[引用3]

可以分为四类,用户模型法用户调查法,专家评审法和用户测试法[引用3]

用户模型法是用数学模型来模拟人机交互的过程。这种方法把人机交互的过程看作是解决问题的过程。它认为人使用软件系统是有目的的。而一个大的目的可以被细分为许多小的目的。这了完成每个小的目的,又有不同的动作和方法可供选择,每一个细小的过程都可以计算完成的时间。这个模型就可以用来预测用户完成任务的时间了。这个方法特别适合于无法进行用户测试的情形。在人机交互领域中最著名的预测模型是GOMS(Goals, Operators, Methods, Selections)模型。[引用3]

用户调查法包括问卷调查法访谈法。这两种方法是社会科学研究,市场研究和人机交互学中沿用已久的技术,适用于快速评估,可用性测试和实地研究,以了解事实,行为,信仰和看法。访谈与普通对话的相似程度取决于待了解的问题和访谈和类型。访谈有4种主要类型:开放开(或非结构化)访谈,结构化访谈,半结构化采谈和集体访谈.具体就采用何种访谈技术取决于评估目标,待解决的问题和选用的评估范型。例如,如果目标是大致了解用户对新设计构思(如交互设计)的反映,那么非正式的开放式访谈通常是最好的选择。但如果目标是搜集关于特定特征(如新型WEB浏览器的布局)的反馈,那么,结构化的访谈调查通常更为适合,因为,它的目标和问题更为具体。调查问卷是用于收集统计数据和用户意见的常用方法,它与访谈有些相似,也是用来了解用户的满意度和遇到的问题。问卷需要认真的设计。可以是开放式的问题,也可以是封闭的问题,但必须措辞明确,避免可能的误导问题,保证所收集的数据有高的可信度。在学术论文中常见的可用性问卷包括:用户交互满意度问卷(questionnaire for user interaction satisfaction, QUIS),软件可用性测量目录(software usability measurement inventory, SUMI)计算机系统可用性问卷(computer system usability questionnaire, CSUQ). [引用3]

专家评审法分为启发式评估走查法。启发式评估是由Jakob Nielsen和他的同事们开发的非正式可用性检查技术,使用一套相对简单,通用,有启发性的可用性原则来进行可用性评估。具体方法是,专家使用一组称为“启发式原则”的可用性规则作为指导,评定用户界面元素(如对话框,菜单,在线帮助等)是否符合这些原则。在进行启发式评估时,专家采取“角色扮演”的方法,模拟典型用户使用产品的情形,从中找出潜在的问题。参与评估的专家数目可以不同。由于启发式评估不需要用户参与,也不需要特殊设备,所以它的成本相对较低,而且较为快捷,因此也称为“经济评估法”。[引用3]
走查法包括认知走查和协作走查,是从用户学习使用系统的角度来评估系统的可用性的。这种方法主要用来发现新用户使用系统时可能遇到的问题,尤其适用于没有任何用户培训和系统。走查就是逐步检查使用系统执行的过程,从中找出可用性问题。走查的重点非常明确,适合于评估系统的一小部分。[引用3]

用户测试法:可用性既然是评价软件质量的标准,而且是从用户的角度出发,评价起来当然少不了用户的参与,在所有的可用性评估法中,最有效的就是用户测试法了。该方法是在测试中,让真正的用户使用软件系统,而测试人员在旁边观察,记录,测量。因此,用户测试法最能反映用户的要求和需要的。根据测试的地点不同,用户测试可分为实验室测试和现场测试。实验室测试是在可用性实验室里进行的,而现场测试则是由可用性测试人员到用户的实际使用现场进行观察和测试。根据试验设计的方法不同,用户测试以可分为有控制条件的统计试验和非正式的可用性观察测试。这两种试验方法在某些情况下也可以混合使用,所以经常被笼统的称为可用性试验。可用性的实验就是在产品实际应用的环境之外,就特定的环境、条件、使用者进行测试,藉以记录系统的表现,更能对特定的因果关系进行验证,得到量化的数据。

用户测试常用的方法包括实验室的实验、焦点团体讨论(Focus Group Discussion)及发声思考(Thinking Aloud)。焦点团体讨论是一般市场营销研究常用的手段。邀请一群使用者,一般五至八人一起就几个焦点问题进行讨论,由一位主持人掌控讨论的方向,围绕着预定的题目进行,让参与者都能畅所欲言并热烈讨论。不过若针对软件进行讨论,必须要考虑系统的规模与使用的体验,对企业的软件来说,一次的讨论绝对不够,必须要进行一系列的讨论与评价。[引用3]
发声思考法是心理学研究所用的研究方法,在国外被人机交互或可用性的研究者用来评估软件的使用。发声思考法要求受测者使用指定的系统,边用边说话,说出使用之时心中想的一切,包括困难、问题、感觉等。这个方法能从每位受测者的评价过程中收集到相当大的信息,而所需邀请的受测者也不多,在国外的相关业界可说是标准的软件使用质量评价方法。[引用3]

参考文献:
[引用1]
:N. Baven, M. Macleod , “Usability measurement in context,” Behavior and Information Technology, 13, 1994, pp. 132-145.
[引用2]:Xavier Ferre;, Natalia Juristo, Helmut Windl, Larry Constantine, "Usability Basics for Software Developers," IEEE Software, pp. 22-29, January/February, 2001
[引用3]:吴鹏越,佟秋利,杜炤。软件系统可用性评估综述,清华大学计算机科学与技术系,清华大学计算机与信息管理中心。

没有评论: