用户日志法:持续研究更真实用户体验
大多数的产品体验研究方法都是衡量了当时当刻的用户体验,但是无法体现一段周期的用户体验,具有一定的局限性。而用户日志,就是一个可持续研究的方法。
深度访谈、焦点小组、问卷法、可用性测试……这些耳熟能详的方法,大家都不陌生,即使没用过但应该都听过。
没错,这些研究方法可以了解用户对产品的直接体验,但可能仅是此刻的体验,就像是曲线上的一个点。这当然是有价值的,但如果我们能了解到用户从产品小白变成产品专家的成长曲线,就可以更好预测用户在不同阶段想要什么,有助于设计出完整的体验方式。
因此,我们需要用一些有助于了解用户的行为和态度是如何随时间变化的方法,这就是可持续研究的方法。
你可以说,这很简单嘛,我们可以做纵向研究:一次性招募一些用户,定期邀请他们,并观察他们的使用行为和态度如何变化。
但是,我们不能忽视学习效应。如果在这种纵向研究中,我们重复用那些常见的方法,比如可用性测试、焦点小组、问卷等等,而且还是对相同的人去使用,那么研究过程会失去客观性,研究结果也会失去有效性。
这里给大家分享一种适合做持续研究的方法:用户日志法,也可以叫做日记研究(diary study)、日记调查法(The diary survey method),有些公司称这种方法为留置研究。叫什么不重要,关键是这种方法能了解产品对人们体验的长期效果,以及体验如何随时间变化。
什么是用户日志法
用户日志法,顾名思义,要求一组人通过写日记的方式,按时记录他们使用产品的活动,而我们来研究这些记录。
日记可以跟踪用户在使用产品过程中犯了哪些错误,吸取了哪些经验教训,学会了什么,他们经常如何使用产品等等;也可以让用户记录我们感兴趣的、希望让用户去记录的东西,甚至还可以通过记录用户周围的地点和人群,让我们对他们的生活有一个大体的了解。
然后我们对日记进行编码并分析,即使是很少的日记样本,也能帮助我们发现其他方法难以发现的问题。
而且日记研究最适合用于产品的全功能分析,这是其他受时间限制的单次研究无法做到的,比如1小时的可用性测试或者访谈,我们无法涉及产品的方方面面。
用户日志法的优点
1. 参与的用户不受地理限制
我们可以根据用户的地理分布来安排各地样本数,无论你的用户分布在全国、还是全世界,都可以参与。
这样就可以进行国际化研究,了解文化和地理差异会如何影响人们对产品的体验。
2. 记录用户在一段时间内的体验变化过程,模拟/还原真实的产品体验过程
毕竟很多在实验室/办公室进行的研究,只能研究此刻的用户体验,并且无法保障用户的表现是否受到了人为环境的影响。
3. 对样本数量的要求不高
至少保证有6名样本参与(和其他定性研究对样本的要求一样)。
4. 对持续时间的要求也不高
如果是每天都要使用的产品,一周时间就足以发现用户的使用变化。
当然,如果产品是每周使用一次的频率,大概需要2个月的记录时间才能度量变化。
5. 对研究者的人数要求不高
一位研究人员,一般可以同时管理好5~10名参加者,包括每天和他们沟通进行跟进,了解并解决他们遇到的问题,鼓励他们持续记日记不要放弃,有时候要根据他们的反馈调整日记结构。
6. 记录内容更真实、更细致
当面的沟通可能会使用户有所保留,尤其是在付费调研的项目中。而写日记的方式,用户更容易真实地描述自己的生活状态、对某个事情的态度,与日记的对话有时候会比当面表述更加生动且细致(写过日记的人能体会)。
7. 用户又更充裕的体验时间
在一周或者更长一些的时间内,对于我们设定的体验任务,用户有更充裕的体验时间;这样的真实环境可能要比在实验室/办公室匆忙地进行体验要好。
用户日志法的两种主要类型
正如访谈可以分为结构化访谈与非结构化访谈两种,日志研究也有用户自驱的非结构化日记,和研究者制定好的结构化日记。
有什么区别呢?
用户自驱的非结构化日记
也就是用户想写啥写啥,我们会建议希望其填写什么,但不会强行规定什么不能写;可以是产品的日常体验,可以是使用产品时遇到的问题,也可以是自己今天的心情、和家人朋友的相处、居住的环境、工作的氛围等等。
对于非结构化日记,指导说明的文档就显得非常重要。指导文档要具体、简洁并且完整。
除了鼓励积极参与、持续记录外,还要具备以下重要信息:
- 让参与者知道,他们提交的内容,并不是用来测试他们的智商或者能力;要测试的是产品,他们有责任告诉我们产品的失败之处。
- 鼓励参与者描述细节,想写多少都可以,但我们想看到尽可能多的细节。
- 日记内容尽可能与体验相关,正面负面、大小都可以,我们对所有体验都感兴趣。
- 如果使用不到一些功能,也没关系,请详细描述这种情况。
- 如果不确定某些内容是否可以在日记中填写,也请把这些内容放到日记中。
- 提供研究者的联系方式。
指导发出后,还要和参与者电话沟通,以便能说明清楚更多细节的注意事项。
结构化日记
为日记提前设计好记录的结构与方式,可以避免出现大量我们不关心的信息,这样的方式可以给参与者明确的记录指南,帮忙他们不跑偏。
结构化日记可以分为三种:调查日记、可用性日记、问题报告日记。
1)调查日记
提出一系列问题,参与者通过回答这些问题来完成每次日记的填写,这种结构性日记很像问卷调研。
每次的日记可以设置不同的题目,关注产品的不同方面;有些问题也可以重复,这样就能度量参与者的体验如何产生变化。
可以设置开放式问题,给参与者提供更加深入描述体验的机会。
调查日记非常适用于像游戏这样有成长属性的产品,每次的日记会随着游戏进度的深入、级别的提升而要回答不同的体验问题。
2)可用性日记
请参与者根据日记,每次执行特定的任务,或者让他们看特定的内容,请他们评估不同的模块,并描述使用情况。
这很像远程可用性测试,如果要研究指定的某个模块、功能的使用体验是如何随时间变化的,这种结构性日记是最适合不过的了。
3)问题报告日记
就像是一份随时进行问题反馈的表格,参与者无论什么时候有了问题或者见解,就可以进行填写。
这种日记的填写难度最低,还能找到产品上最大的痛点。这类问题报告日记的研究,可以在整个产品周期中不断进行,我们可以用文档形式记录用户碰到的问题。
虽然看起来这个方法是最没有含金量的,但是这种日记很容易大规模开展,从而提高总反馈率。
小结
无论是采用哪种日记结构和形式,哪怕项目已经在进行中,也要不断评估日记的记录形式有没有用,参与者是否能理解,是否能引导参与者记录你所关注的纬度。
如果通过及时的回收,发现参与者的记录没有符合我们想要的方式,那就需要找出问题,及时调整,更新日记形式。
如何分析日记
首先,一收到日记就应该马上开始仔细阅读,既要比较不同参与者之间的差异,也要分析同一参与者的变化趋势,建立假设。
然后,就是编码与分析,方式类似焦点小组或者多位样本的深度访谈,这里略。
最后,需要结合焦点小组或者访谈进行深入洞察,更详细的了解体验记录背后的实际情况。
日志研究项目执行的关键因素
1)参与用户的招募
要招募有责任心、表达能力强的参与者;
选择一些候补参与者。
2)制作日记材料
让日记材料看起来专业、吸引人;
设计并提供一些小贴纸或者其他的道具,使日记的记录具有趣味性。
3)预测试很重要
提前找一些用户进行预测试,发现问题及时完善;
注意完成一次日记所需要的时间,一般为20分钟,避免超过30分钟。
4)持续关注参与者
在日志研究项目的进行中,研究人员需要每天和参与者保持联系,不能放任参与者自己玩。
研究人员要能持久维持参与者的积极性,还要及时捕捉参与者认为不必要报告的问题,从而进行日记结构的调整。
5)奖励机制
奖励要和参与者完成日记记录所花费的时间能够匹配。
一方面是总体奖励,比如每次记日记需要30分钟,一周7次日记需要3.5个小时。按照国内一般的调研费用200元/小时计算的话,一周的日记项目需要至少支付单名用户700元。如果是国外的用户,则调研费用需要按照当地标准费率分开计算,比如10年前我参加的一项美国项目,调研费用已经是60美元/小时/人。
另一方面,日志研究项目最大的风险是参与者会中途退出。除了总体奖励会影响参与者的退出率以外,过程中是否能时不时为参与者提供一些小惊喜,也对提高任务完成率有较大的帮助。
6)时刻提醒
弥补非面对面研究裂缝的一个重要方法,就是时刻提醒。日志研究不是当面进行,主要得依靠时刻提醒。因为这项研究主要依赖于参与者的自觉性,他们很容易不够重视日志的持续记录。
所以,我们要时刻提醒他们的完整参与对产品的重要性,告诉参与者,你一直在等他还没有提交的日记,他的日记对公司非常重要。
但切记,不要每天发好几次类似“请保持良好的日志填写状态喔~“这种垃圾信息。
7)收发日志
如果是纸质的日记本,需要让用户把文件寄回,快递费可以到付;如果是语音的日记,或者一些在线文档的话,则回收会更方便,如微信群/QQ群/论坛/问卷系统/邮件/石墨等。
8)安排后续访谈
回收日志后的第一周内,趁着参与者脑海中日志记录的事件仍然记忆犹新时,及时安排后续的访谈。
好了,关于用户日志这种研究方法,就和大家分享到这里。实际项目中有任何不解的地方,欢迎找我讨论。
作者:媛媛大王(微信公众号:用户研究社 ),资深用户研究员
本文由 @媛媛大王 原创发布于人人都是产品经理。未经许可,禁止转载。
题图来自 Pexels ,基于 CC0 协议
这个调研周期感觉挺长的