编辑导语：ABtest指的是将多个版本在同一时间维度下随机选择具有相似性的几组用户进行测试，收集数据并分析哪个版本效果更佳；一个优秀的设计师也需要了解ABtest，确定最佳的方案；本文作者分享了关于ABtest的方法，我们一起来了解一下。

今天要跟大家介绍的是为了消除客户体验（UX）设计中不同意见的纷争，根据实际效果确定最佳方案常用的方法ABtest。

运用好了在这种方法，可以帮助我们达到不同的设计目的；想成为一个优秀的设计师，那就请跟随我从头开始了解它吧。

01 A/B测试是什么

A / B测试（也称为分割测试或桶测试）是一种将网页或应用程序的两个版本相互比较以确定哪个版本的性能更好的方法。

AB测试本质上是一个实验，其中页面的两个或多个变体随机显示给用户，统计分析确定哪个变体对于给定的转换目标效果更好。

随着移动互联网流量红利、人口红利的逐渐衰退，越来越多的产品运营开始关注数据驱动的精细化运营方法，期望通过精细化运营在一片红海中继续获得确定的用户增长，而A/B测试就是一种有效的精细化运营手段。

02 测试的目的

A / B test可以让个人，团队和公司通过用户行为结果数据不断对其用户体验进行仔细更改；这允许他们构建假设，并更好地了解为什么修改的某些元素会影响用户行为。

A/B test可以持续使用，以不断改善用户的体验，改善某一目标，如随着时间推移的转换率。

03 A/B test的流程

• 确定目标：目标是用于确定变体是否比原始版本更成功的指标。可以是点击按钮的点击率、链接到产品购买的打开率、电子邮件注册的注册率等等。
• 创建变体：对网站原有版本的元素进行所需的更改。可能是更改按钮的颜色，交换页面上元素的顺序，隐藏导航元素或完全自定义的内容。
• 生成假设：一旦确定了目标，就可以开始生成A / B测试想法和假设，以便统计分析它们是否会优于当前版本。
• 收集数据：针对指定区域的假设收集相对应的数据用于A/B test分析。
• 运行试验：此时，网站或应用的访问者将被随机分配控件或变体。测量，计算和比较他们与每种体验的相互作用，以确定每个用户体验的表现。
• 分析结果：实验完成后，就可以分析结果了。A / B test分析将显示两个版本之间是否存在统计性显著差异。

04 如何设计AB test

了解了流程以后我们可以根据自己的需求来设计AB测试来获得有效信息了。一般会有两种设计思路。

第一种叫单因素实验设计。

所谓单因素实验设计，是指实验中只有一个影响因素变量，其他的内容都保持不变的实验方法。

举个例子，两个实验组，一组用广告图A，一组用广告图B，这两个组进行实验对比，最后发现B组比A组效果好，那么我们就可以认为这是B广告图的作用。

第二种叫多因素实验设计

多因素实验设计，是指实验中有多个影响因素变量。比如你想同时测试广告图（AB）和广告弹出方式（AB）对转化率的影响，这里面有两个变量，对应的有4种组合条件：

• 广告A，弹出方式A
• 广告A，弹出方式B
• 广告B，弹出方式A
• 广告B，弹出方式B

多因素实验设计的好处在于，除了可以检测同一个变量、不同实验条件之间的差异之外，还能对变量之间的交互效果进行检验。

用上个例子做说明，如果在单因素AB实验里，我们发现广告A比广告B的效果好，弹出方式A比弹出方式B的效果好，但是广告A+弹出方式A的组合情况却不是最好的，因为他们之间的组合，产生了化学作用。这种情况下，就必须使用多因素实验设计来做。

05 测试案例

理论的知识我们都多少明白一些了，那么下面来看看一些案例，看看别人是怎么利用AB测试成功达到目的的，可以带给我们一些灵感思路。

第一个例子是爱彼迎为了增加房源预定而做出的AB测试。

爱彼迎（Airbnb）大家应该都比较熟悉了，是一家提供民宿服务的平台，创建于2007年，现在已经估值约300亿美元。

在2011年初，爱彼迎团队通过查阅数据寻找房源预订量比较低的地区。他们发现纽约市的房源预订量竟然不达标。

要知道，纽约可是热门的旅行地区，为什么房源预定量低呢？

在观察这个地区的房源照片时发现，这些照片都是手机拍的，拍的即不清晰也不美观。如果房东发布的房源信息里有拍摄效果更加专业的照片，房东是不是会更容易租出自己的房子呢？

为了验证这个假设，爱彼迎团队先挑选了一部分房东作为实验组，免费为他们提供专业的摄影服务。

然后，将实验组的平均住宅预定量和纽约其他公寓的平均预订量进行对比。

数据显示，如果房源信息里有专业拍摄的住宅照片，房源预订量高于爱彼迎平均房源预定量的2- 3倍。

也就是说，照片质量会影响预定量，说明前面的假设是成立的。

根据这个A/B测试结论，爱彼迎推出一个摄影计划，聘请了20名摄影师，专门为房东提供专业的拍照服务，这使得爱彼迎的房源预定量实现了快速增长。

爱彼迎团队进一步决定向所有房东推广这一业务，这极大的提升了房源预定量。

第二个例子是Electronic Arts，他们想将网页设计得更好，帮助达到收入最大化。

EA 最受欢迎的游戏之一——模拟城市5，在上线以后的前两周就卖出了110万份。游戏50%的销售都来自网上下载，这得归功于一个非常厉害的AB 测试策略。

当 EA 准备发行模拟城市的新版本时，他们提供了一个促销信息来吸引更多的玩家预订游戏。这个促销的信息显示在预订的页面的 banner 上，让购买者一目了然。但是根据这个团队说，促销并没有带来他们期望的预订数量的增加。

他们决定尝试更多的试验来检验哪种设计和布局可以获得更多收入。

一个变化是把页面上的促销信息都删除了。这个试验造成了非常令人吃惊的结果：没有促销信息的版本比最初版本提升了43.4%的预订量。结果显示人们真的很想买这个游戏，不需要额外的刺激。

大多数人认为直接的促销可以带来购买行为，但是对于 EA 而言，这个观点完全是错误的。AB 测试让他们找到了可以让收入最大化的方式，否则这件事不会成为可能。

最后一个例子是comScore，他们渴望可持续发展，想获得更多商机。

市场人员普遍同意当你在卖一个产品的时候，社会认同（social proof）将会对业务带来更多积极的影响。

comScore 在他们的产品页面做了一个试验。最开始的产品页面展示了社会认同程度最小的一种方式：用户引语。

然而，用户引语与其他内容混杂在一起，并且显示在一个目光相对不容易捕捉到的灰色的背景里。

这个团队试验了不同的设计版本，并加上了用户的 logo，检验是否不同的视觉设计可以使更多的访问者变成商机。

他们测试了试验中的2500个访问者，很快发现版本1（见下图）在其他的版本中脱颖而出，并且击败了留有很大空白的最初版本。

用垂直的布局，并将客户的 logo 显示在最上面，与最初相比将会带来69%的转化率提升。

这三个例子虽然目的不同，但是都通过结合自身情况利用AB测试更加了解了用户的心理，选择了最适合自己的方案进行运营，获得了成功。

06 注意事项

我们在借鉴成功案例制定我们的AB测试计划时要多考虑自身情况，并且注意以下几点：

实验组控制组数量相等：

最好保持实验组和控制组具有相同的用户比例，也就是如果实验组有5%的用户，那么控制也要选5%的用户做对照。

实验控制在同一时间段：

在一些特殊日子中，用户的活跃度会暂时性增高，如果A方案的作用时间刚好是节日，方案B的作用时间非节日，那么显然这种比较对于B方案是不公平的。

不要反复用同一组用户实验：

也许刚开始因为其随机性，用户行为差异很小。N 个实验过后，行为的差异可能就变得非常大了。

排除异常值：

作弊用户和BUG数据，可能会让指标变得非常奇怪。

今天的分享就到这里啦，希望大家都有所收获。

公众号：空两格

本文由 @格格学姐 原创发布于人人都是产品经理，未经作者许可，禁止转载。

题图来自Unsplash，基于CC0协议。