全民CE,让产品质量更上一层

6 评论 3934 浏览 5 收藏 12 分钟

编辑导语:全民CE是一种全民走查工具,它的本质是让更多人参与到产品操作体验中,提出使用感受,以帮助产品提高质量。那么要怎么做全民CE呢?全民CE的效果又如何?一起来看一下吧。

01 什么是全民CE

全民CE是我们在终端产品提倡应用的一种全民走查工具,CE就是 customer engagement,即用户参与。

笔者最早是在腾讯的一篇采访文章中看到,在我们内部也称之为“众测”,其本质是希望更多的人参与到产品操作体验中,提出并记录使用过程中的不良感受和遇到的问题;产品设计方通过对此收集-分析-评估并执行优化,从而让产品的质量更上一层。

02 为什么要提倡全民CE

常规的产品设计流程中,UED设计师对交互界面的还原效果,本身就有走查环节,那为什么还要提倡这样一种全民走查工具呢?

1. 跳出设计思维,多角度发现问题

设计还原走查更多的是对设计方案是否有效落地的走查,比如,设计方案的边距是10px,落地效果却是5px;设计方案功能操作用的是按钮,落地效果却是文字等等,这些都属于落地效果与设计方案不符,还原度差的问题。

除此之外,设计师其实很难再发现其他诸如交互流程是否合理,目标按钮是否能更块地被找到,文案内容是否可以被用户看懂,操作过程中是否还会遇到其他困惑,以及困惑是否能很快地被解决等更多操作体验层面的问题。

因为理论上在设计期间这些都已经经过情境分析、方案决策、设计评审的过程,是整个项目组认可的方案。

经过了深度参与,设计师有时候已经熟悉到近乎麻木,认为这就是一个完美的方案。

2. 多人参与,覆盖面更广,更易识别高频问题

UED走查有设计稿做参照,测试有测试案例做依据。

那么全民CE中,作为普通用户的参与者,正常情况下是没有固定路径和标准的,完全以个人操作目标为导向自由发挥。因此,操作的路径覆盖面将更广,这意味着一些不易现的问题或缺陷以及并发下存在的问题就有更大的被发现的可能性。

同时,多人体验过程中,我们也更能识别高频问题,在落地优化时作为优先级评估的一个依据。

3. 多部门协作,更易于推动落地

即使UED能够发现还原度以外的问题,也未必能够真正解决其中的一些问题。

问题的解决需要产品、开发、测试等各相关部门共同协作,甚至需要跨产品部协作,我们的产品各端的负责人不一定是同一个部门,同一波人;时间人力等资源安排也受到限制,只有在目标共识的基础上才能更好地推动落地。

4. 作为与客户沟通方案有力的说服工具

我们通过全民CE获得的数据,能够作为设计方案的源泉,在与客户进行沟通时更能自信,做到有的放矢,也更能获得客户的认可。

综上,我们需要更多设计师以外的角色,摆脱设计思维,站在用户立场,以真实的用户心态进行产品操作,从更多角度挖掘更多的问题,更好地推动产品质量的提升。

02 全民CE的两种情况

我们目前进行过的全民CE有两种情况,一种是在产品发版之前,在测试环境进行;另一种是直接在生产环境中进行。这两种情况各有优劣,如下所示:

03 全民CE的全流程

全民CE的核心流程,就是发现问题-记录问题-分析问题-执行解决问题的过程。

作为用户参与的活动,我们首先需要做一些前期的准备,也就是哪些人参加?什么时候参加?用什么环境?给什么奖励?评奖规则是什么等等,如果有特殊的需求的话也可以征集,比如手机型号、指定的功能清单等等。

1. 前期准备

1)环境准备,确定对接人

这里指测试环境,主要是尽量争取所需数据的真实性、全面性,使用户操作起来更具沉浸感。

测试环境中的数据不真实、不全面问题由来已久,我们在日常的UED还原度走查中就频繁地遇到,后来,UED根据走查需要梳理了《UED走查配置标准文档》,要求在走查前能够按照文档要求对测试环境的数据进行配置,以覆盖更多的功能与界面。

举个例子:产品中有一个排序功能,以往我们遇到过所有的数据在点击排序后没有变化,原因是要么数据只有唯一的一条,要么数据虽然有多条,但是数据中那个排序的指标数据都是一样的。我们就在配置文档中要求至少有2条以上数据,且排序的指标数据不等大。

其次,根据实际需要明确各部分对接人,比如遇到阻断性问题找谁处理,又是谁充当理财师角色等。

2)用户招募

虽然是全民CE,但是会根据业务特点尽量招募与真实用户接近的用户,我们一般通过钉钉群、内部邮件等方式发布海报,面向符合目标用户的同事们招募,角色范围包括项目经理、产品需求、测试、实施以及UED部门。

招募海报的内容包括:主题、口号、活动时间、号召文案、活动规则及奖励、测试包下载及钉钉群二维码,有兴趣的用户就可以通过扫码进群。

3)用户及设备登记

明确哪些用户参与之后,就需要对用户的机型进行登记,方便后面问题排查。IOS的系统,还需要添加UDID,才能正常执行,下表为设备登记表:

4)问题记录模板准备

我们需要提供一个问题记录的模板,供参与的用户操作过程中随时记录。这个模板包括问题记录列表以及截图,分别作为问题的描述和“证据”,目前我们已经有了非常成熟的问题记录模板:

当然,由于截图界面有点大,需要另起一个excel按编号记录,这些都将在钉钉群里向招募的用户说明。

2. 集中体验

万事俱备,到了活动开始的日期,参与的用户就可以从钉钉群下载最新的测试包开始体验了。

体验周期一般都会定在一周左右,大家可以根据自己的时间安排。走查过程中,发现问题或困惑随时截图并记录问题清单,有任何疑问也可在钉钉群里提问,有专设的对接人解答。

对接人会在群里及时跟进和答疑,产品经理和开发每天会对问题进行跟踪,并对严重的比如阻断性问题进行及时修复,以便用户能继续参与。

3. 问题分析与评估

当然,所有的问题最后都需要进行评估,并不是完全听由用户反馈而走向极端:就是用户说的都对,用户提的问题都必须解决。

产品经理、开发、测试、UED以会议的方式对问题进行评估,明确问题所属范畴(是属于用户体验类的,还是属于程序问题,是属于配置问题还是需求问题)、所属系统(是APP端的还是其他关联系统)、问题类别(是优化类还是bug,不是问题还是重复记录的问题等)、严重等级、处理日期、负责人,并以状态作为持续更新,便于落地跟进。

如果评估结果为不是问题,无需修改,则需要在备注中说明原因。一来对提出者有个交代,二来作为备案,方便未来追溯。

04 全民CE效果如何

可能大家会问,这么“兴师动众”的,最终效果怎么样呢?给大家分享下其中一组全民CE的结果数据:众测周期为其一周, 一共招募到了21位参与人员共提交179个问题,评估后有效问题112个。问题迭代修复,在众测结束的第二天,优化完成度达到95%。整体数据如下:

覆盖了16款手机机型,而我们测试人员正常测试用的手机是达不到这个范围的:

招募到的21位用户覆盖了7类角色,具体构成如下:

05 总结

全民CE虽然在产品质量提升上,具有非常显著的成效,但真正要落地,还需要产品或项目领导的大力支持,也需要产品线各环节人员的共同协作。

只有在大家具备共同立场的前提下,才能做好全民CE, 以更有效有用的定量数据作为说服力。

 

本文由@janinejly 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 邀请用户来内测新软件是不是有点接近全民CE的概念啊?

    来自广东 回复
    1. 如果按照设计者设定的核心任务进行测试观察并记录,属于可用性测试;如果用户按照自己的需要点击反馈问题,那么属于全民CE。全民CE的用户数量更多,要求也没有那么严格

      来自浙江 回复
  2. 说白了这些都是为了产品质量的提升,做好过程,选对形式真的很重要的说。

    来自江西 回复
    1. 行家呀

      来自浙江 回复
  3. 全民走查工具的普遍性更强,更具有说服性。但是过程也比较繁琐而复杂。

    来自江西 回复
    1. 难点主要还是上下游跨部门之间的协作,如果获得上方支持,那一切都会顺利得多

      回复