增长说:A/B测试实验(实战篇)
在互联网行业,A/B测试已成为优化产品和提高用户体验的关键工具。通过对比不同的方案,我们能找出最有效的方法来提升用户参与度和满意度。本文将带你了解如何设计和执行一个成功的A/B测试实验,帮助你像互联网巨头一样思考和实施最佳实践。
每个做用户增长的人,可能逃过了大学实验课,却无法绕开工作上的A/B测试实验课。
A/B测试实验本质是通过控制单一变量寻找最优解决方案。在互联网中,其目的是快速地增加商业成功几率。
当前互联网巨头Facebook、Google、字节跳动、腾讯、美团等等都非常喜爱A/B测试实验。
Facebook的CEO扎克伯格曾宣称:
“在任何给定的时间点,都不会只有一个版本的 Facebook 在线上运行,而是有超过一万个,我们的实验框架能随时发现和感知用户最细微的行为差异。”
字节跳动的张一鸣曾表示:
“即使你有99%的把握某个名字比另一个名字更好,测一测又有什么关系呢?”
有APP工厂之称的字节跳动,每天同时在进行的A/B测试实验达上万场,累计已超上百万场次。
在互联网巨头们如此热爱进行A/B测试实验的背景下,初入互联网行业的新人学会A/B测试实验就显得非常重要。接下来,我通过结合自己近期的一个A/B测试实验,来讲一讲A/B测试实验如何开展。
事情是这样的:有个学生信息收集页面,需要家长填写手机号并验证、姓名、学校、年级、班级等信息。当我们在分析页面填写率时,想如果分步填写信息(降低心理压力)、调换填写顺序(先易后难、隐私敏感度先弱后强),填写率应该会提升。所以,我们就做了下面这组实验。
信息填写率提升的A/B测试实验
01 实验假设
假设①:学生信息分步填写,填写率提升2%
- 假设原因:信息一起填写提交,用户心理负担大。通过分步填写,将填写任务分解,当用户有过付出成本后,后续完成可能性更大(厌恶损失心理),比如在问卷收集中就会将填信息放在几个页面填写;有些APP手机号验证码登录时,先显示输入手机号,后显示输入验证码。
假设②:分步填写顺序进行调整,填写率提升2%
- 假设原因:用户对于首次接触填写信息隐私的敏感度会比较大,“手机号并验证”隐私敏感度小于“学生姓名、学校、年级、班级”,因此先填写手机号并验证有利于填写率提升。
02 实验设计
对照组 :在一个弹窗中填写所有信息,顺序为姓名、学校、年级、班级、手机号并验证
实验组1:分两个弹窗填写:先弹窗填写姓名、学校、年级、班级;然后自动弹窗填写手机号并验证
实验组2:分两个弹窗填写:先弹窗填写手机号并验证;然后自动弹窗填写姓名、学校、年级、班级
03 实验指标
学生信息填写率
04 实验评估
- 影响所有填写用户
- 仅需前端修改信息提交交互,开发成本低;
- 有可借鉴经验,成功率高
05 实验结果
style=”text-align: center;”>(数据已脱敏处理,不涉及公司数据泄露)
06 结果分析
通过实验组1与对照组的转化率对比,可以看出信息分步填写,可降低用户心理压力负担,有利于用户填写率提升,验证了假设①。
通过实验组1与实验组2的转化率对比,可以看出信息填写不同顺序,对于用户填写率存在差异,但不是假设②中“隐私敏感度”原因。这里先填写孩子“姓名、学校、年级、班级”的填写率更高,应该是学校班主任老师发给家长填写的场景更有信任背书,降低了家长对孩子隐私的敏感度,反而家长更容易理解需要填写什么内容。
07 后续计划
- 全量推进实验组1的填写方式。
- 寻找其它表单填写,推行分步填写A/B测试。
通过上述A/B测试实验,你应该学到
- 对照组和实验组数据结果可量化,更有说服力。
- A/B测试是一个“假设-开发-学习”闭环,不断优化,最终寻找到最优解决方案。
- 实验并非一帆风顺,失败率会很高,需要我们磨炼心智,再接再厉。
- 实验假设每一次验证成功,也会让你更有成就感,更有动力寻找下一个A/B测试。
- A/B测试流程
推荐阅读:增长利器:积分商城
作者:文说静评 微信公众号:文说静评
本文由 @文说静评 原创发布于人人都是产品经理。未经作者许可,禁止转载
题图来自Unsplash,基于CC0协议
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务
- 目前还没评论,等你发挥!