【出海用户研究】看看国外流行的无主持可用性测试怎么做?
本文由 Nikki Anderson 发布于 Dovetail。Nikki 是一名用户研究领导和教练,拥有超过八年的经验。Dovetail 是用户洞察研究数据存储和分析平台,帮助用户研究员和团队更好的产出洞察。
无主持可用性测试(Unmoderated Usability Testing)这种调研方式有不少争议。如果设计的不好,非常容易出错。但是在特定情况下,它能成为项目的救命稻草。
大家可能对无主持可用性测试抱有怀疑:发布没多久你就会得到一堆低质量用户反馈,让团队头疼于如何过滤、分析这堆混乱的数据。
现实是在用户研究员的日常工作中,项目的时间线很紧,团队需要简化用户研究方法,加快速度得到结果。当时团队有好几个研究需要完成,得同时进行。我们尝试了无主持可用性测试后,发现它并非之前想的那么糟。毕竟,用户研究员不是唯一一个事情太多时间不够的人。
有很多设计师和产品经理尝试进行全面的用户研究,但没有这个时间和条件。无主持可用性测试能让团推快速拿到结果,同时仍然能从用户那里收集有用的数据。
什么是无主持可用性测试?
当团队有一个需要调研的问题,用户研究人员把这个问题设计成一个带有问题的任务发布给参与者,让他们自行录制来回答问题或完成指定任务。很多用研对无主持测试不感冒,是因为测试期间没有主持人。那么无主持测试就对受访者的要求很高。
用研必须招募到能够把想法口述出来 (Think out loud) 的参与者,理解任务,理解如何使用设计原型,对问题做出反馈,最后完成录像。
无主持测试如果设计完善,能给项目带来很多益处:
- 在短时间内获得大量反馈:从周五发出的调研,周一就可以获得理想的数量。测试主要在周末进行,几乎不需要投入主持的精力
- 更低的调研成本:因为非主持测试需要的人力和参与度更少,10-20 分钟就可以完成一份调研,通常比主持测试短得多
- 多样化的参与样本:远程线上进行,更多人可以参与
- 简化研究过程:更快获得结果,缩短调研时间线
非主持测试也有一些缺点:
- 团队无法给参与者提醒、解释任务、或询问他们为什么作出某个行为,因为没有主持人实时提问
- 参加测试门槛很低,团队可能会遇到什么反馈都不分享 (think out loud)、只完成任务为了获得“报酬”的人。这就导致无用数据,如果参与者没有分享他们的想法,团队就只会得到没有解释的行为数据
- 技术问题得不到解决,比如参与者未正确录制,数据就浪费了
- 如果参与者混淆或误解任务,调研员无法回溯或解释,就会导致不准确的结果
无主持测试最大的风险是得到无用或混乱的数据。但如果我们仔细筛选用户,在合适的项目节点选择使用无主持测试,我们还是可以减少风险获得我们想要的结果。
什么样的项目适合无主持测试?
- 设计原型相对简单、直接,最好有明确的用户路径来完成一个任务
- 收集小的设计组件或设计更改的前后对比(类似 A/B 测试)
- 收集初步反应,例如人们看到一种设计会做出什么样的第一反应
- 推断影响一个小样本的问题如何反映到更大的样本
- 获得用户对品牌设计风格,价值和调性的反馈
以下情况我们还是需要主持人,而不是简单粗暴的用无主持测试替代:
- 对一个设计或话题要求有深入反馈或理解,因为无主持测试的任务或问题需要很简单,测试期间无法进行后续跟进
- 产品或原型较复杂,有许多不同的路径,可能会让用户感到困惑或需要很长时间来完成
- 测试一个非常早期的想法,比如原型有局限性,有些部分还不能点击
- 参与者是自己主导整个流程,没有有主持人就很难在合适的场景主动表达他们的感受
无主持用户测试的最常见目标需要很集中,且流程需要短:
- 找出简单原型的可用性问题
- 产品问题的可能导致的更大影响
- 了解用户是否可以找到信息或完成某个操作
- 衡量参与者是否理解产品的重点和价值
如何创建一个无主持测试
- 撰写非主持任务和问题是最有挑战的部分,也是测试成功的关键。如果发送的任务或问题撰写不当,参与者的回答可能会带有偏见或引起混淆
- 直接告诉参与者需要他们完成什么,或不希望他们做什么
- 设计合理的调研问题或任务需要给参与者背景和上下文,为什么他们需要这个产品,在日常生活的什么场景中会使用它
- 如果用户需要在调研中输入日期、地点或特定数据,也需要明确的提示他们
- 当要求参与者完成任务时,确保他们有一个明确的“结束”,让参与者明确任务是否成功完成并且反馈给团队
- 避免使用带有偏见或引导性的语言,尤其是界面上显示的文字。例如,如果希望参与者点击“注册”按钮,就要避免在任务里误写“登记”按钮
- 将较艰巨的任务分解成几个不同的步骤
- 反复提示参与者在录制整个过程中说出自己的思考过程
我们可以来看一些案例,如何设计无主持测试,以及要避免什么
例一:Brand Jeans(虚构的服装公司,b2c)
用户目标:浏览并购买一条平均价格为50美元左右的牛仔裤
不完善的测试任务:找到你尺寸的黑色牛仔裤
完善的测试任务:你正在寻找一条新的 Brand 牌牛仔裤。请前往 brandjeans.com,去购买一条牛仔裤,你的预算是 50美元左右。
小贴士:如果给用户一定的自由,让他们去比较不同类型的牛仔裤,并提供一个参考预算(50美元),他们可以更自然的完成任务给出日常浏览网站的路径
例二:Stay Here(虚构的酒店 ,b2b)
用户目标:将酒店场地和房间的照片上传到 Stay Here 平台
不完善的测试任务:您想将酒店照片上传到网站。登录平台,点击上传照片按钮,上传三张照片,点击提交按钮,告诉我们你是否能完成任务。
完善的测试任务:你想在你的StayHere页面上添加一张新套房的照片。请点击平台链接并将提供的照片上传。提示:您需要准备几张照片。
第一个任务过于具体,并给出了太多线索。更好的测试设计应该给出合理量的信息,同时告诉用户他们需要做什么,包括要准备什么:例如提供几张供他们上传的照片。
综上,我们在设计任务时需要考虑:
- 任务背后的上下文
- 平衡任务指令的具体与宽泛程度
- 在合适的节点为参与者提供有用的信息来完成任务
- 以行动为导向的任务设计,结论需要能够让团队有明确的行动目标
- 记得在发布测试前进行一两次模拟测试,来排除潜在流程问题
如果研究不需要过多解释复杂的流程或细节,参与者也不会对任务产生太大的困惑,那就非常适合做无主持测试,来迅速获得用户的反馈和产品的改进方向。
本文由人人都是产品经理作者【黄苏晨】,微信公众号:【Peron用户研究】,黄苏晨 发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于 CC0 协议。
- 目前还没评论,等你发挥!