如何通过问卷量表来度量产品体验?
在之前的文章里,我们分享了目前常见问卷量表的汇总和统计方法,本篇将结合实际项目,介绍度量体系是如何指导设计开展体验优化的。
以负责过的业务为例,美间作为当时还在不断扩张的成长期的产品,用户规模也到了一定的量级,但业务数据基建能力缺失,数据粗颗粒度,存在体验黑盒。产品优化大多靠业务感觉、个别用户反馈,没有合理的度量标准。
其次数据资源短缺,目前无法快速补齐数据基建能力,而产品更新节奏快,暂时不可能快速补齐数据基建能力,因此需要一套标准化、低投入、轻量化的产品体验度量体系短平快的解决上述问题。
一、制定流程框架
通过前期的调研准备工作后,结合目前产品的现状,进行了度量体系的框架制定
二、产品指标定义
归纳整理市面上常见的27+评估问卷类型&体验度量模型,对其考察维度指标进行汇总,对指标出现次数进行频率统计后得到了常用的高频率指标通过查阅ISO/IEC 25010、ISO-9241-110-2020模型,对指标进行一二级拆解和指标内容再定义。
这一环节的目的在于了解各行业类型产品是如何应用指标度量,以及指标背后代表的意义是什么,这可以很好的帮助后续进行指标的选定
三、制定度量规则
1. 了解信息处理机制,结合认知模型框架指导指标的选取范围
通过对认知行为等多种模型对人脑信息获取加工原理的分析,总结人对外界信息获取处理的机制是有一套标准的处理流程:
- 感官收到刺激接收信息
- 信息输入
- 信息加工(控制处理器工作,对其进行识别、理解,并结合已有经验规则进行解读)
- 信息储存(短期记忆,重复刺激会形成长期记忆)
- 信息决策、执行、并反哺至心智模型、不断修正模型(类似不断扩充学习)
- 信息提取、应用、再创造
对几种模型的优缺点对比,最终选取工程心理学中的三三模型作为度量体系的指导框架
该模型总结了人机交互中所涉及的体验维度:认知、情感、操作(用户在使用一个系统的前中后的情绪、信念、感知、行为和成就等因素都可以抽象概括为认知、情感、操作三个维度)
这与国际人机交互技术委员会对用户体验在ISO-9241的定义相吻合(用户因使用或预期使用系统、产品或服务而产生的感知和反应的组合)
2. 体验指标选取定义
3. 结合业务细化度量指标
仅有上述指标还是太泛了,它更像一个全局的指导性体验指标,我们还需结合具体的业务来对这些指标进行筛选来保证最后的指标是可以较好的契合和量化产品体验。那么如何结合业务?主要有这几个考量维度:产品属性:业务类型,面向群体、商业模式产品痛点:设计层、技术层面临的问题产品目标:所处的产品周期阶段、现阶段需要达成的目标
以美间平台业务举例,平台属于内容分发类型业务,通过内容导向来引导用户进行相关的围绕内容收藏、创作等一系列行为。平台业务因为历史因素及模块间的迭代频率不同,导致交互&视觉的一致性问题突出,其次在技术层面存在操作卡顿、图片展示模糊、加载速度慢等问题。综上结论,并且考虑现有产品一致性差、性能存在短板及业务定位等因素,将相关衡量指标纳入,来促进产品在短板上的快速补齐,因此平台业务的体验指标确定为:
认知:易学习、清晰性(可见性、可读性)、一致性、吸引力操作:效率、性能情感:满意度
四、问卷设计投放
有了度量指标,接下来就是设计问卷题项、确定投放范围以及评分标准。
投放范围:考虑信息的采集需要保证对产品有一定的认知,因此投放范围是注册时间>30天;进工具次数>1次的用户。
评分标准:采用10点评分量表(通过对不同等级量表调研文献发现10点量表相对于5点、7点量表可以使用更少的样本量的情况下有更好的鉴别力和稳定性,不过10点量表在分布方面却存在较大的偏态性,在1-4分段偏态严重,因此通过Option-Keyed方法对其进行修正,把1-4分段定义为不满意分数,统一赋值为4解决偏态问题)。
样本量:保证回收量是量表题项的10倍以上,或者在非实验室标准的200份左右,当然越多数据越好,不过回收成本会逐步提高:
五、样本回收分析
对样本数据进行清洗后进行数据分析,因为是自制量表,首先需要进行信效度验证保证量表是可靠的,其次再进行相关性、回归等分析手段。
1、信效度评分标准信度:一般克隆巴赫系数大于0.6即可,克隆巴隆系数越高,信度越高;效度:效度分析的种类有很多,量表一般使用结构效度方法(结构效果又区分了探索因子分析和验证性因子分析,前者常用),因此探索因子的评分标准为 KMO>0.6、共同度>0.4、存在因子荷载系数绝对值>0.4、累计方差解释率>50%。
2、相关性分析
通过相关性分析得出指标的有无相关性关系0.8-1.0 极强相关0.6-0.8 强相关0.4-0.6 中等程度相关0.2-0.4 弱相关0.0-0.2 极弱相关或无相关
量表统计中常用Pearson(皮尔逊)系数进行相关性的分析
3、回归分析(贡献度分析)
通过相关性分析,才可以进行回归分析,进而判断存在相关性关系的指标对需要观测的指标影响程度:评分标准 VIF<10(一般VIF<10即可,严格一点是<5)F检验:p<0.05
经过数据分析后,最终得出以下结论:
六、总结
在得出数据后,我们立刻开展了设计优化工作,最终优化因性能、一致性问题等带来的上传卡顿、信息不一致,流程不统一等体验缺陷共24+,度量指标分数均有所提升,同时用户满意度评分对比之前提升0.9。
到这很多同学可能会问,满意度提升了有什么实际意义?
行业内的共识可以得知,满意度指标会间接影响了用户增长、传播、转化等指标,因此满意度的提升间接促进了其他指标的提升,当然本文仅说明了一个大致的情况,实际影响效果可以构建满意度和其他指标的数学模型来判断影响程度,或者将满意度指标替换为业务当前目标,来度量体验指标如何影响业务目标的,本文只是提供一个度量思路,具体的指标选取可以根据所处行业、周期、业务目标来因地制宜。
最后,问卷度量的实施成本相对于数据埋点建设,其成本是很低的,一般对于快速发展的业务,需要进行体验度量,但又缺乏相关的数据分析资源,作为设计师我们可以不依赖其他资源,独立开展问卷度量项目获得数据反馈。
通过问卷度量精准挖掘产品体验问题,实现产品问题的价值排序,找到影响体验和业务指标的增长机会点,为产品体验优化提供了数据支持和方向决策。
作者:嘉铭,公众号:群核科技用户体验设计
本文由 @群核科技用户体验设计 原创发布于人人都是产品经理,未经许可,禁止转载
题图来自 Unsplash,基于CCO协议。
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。
- 目前还没评论,等你发挥!