A/B测试已是一个老生常谈的概念了，但是你真的能够做好A/B测试吗？看看这篇文章，也许能够让你在进行A/B测试时少踩几个坑。

如今，转化率优化（CRO）已是营销人员必须具备的技能，并且与 ROI 直接挂钩。但是在优化网页的转化率方面又有太多因素要考量，如果你已经不堪其忧，请专心做一件事—— A/B 测试。

A/B测试，即你设计的页面有两个版本（A和B），A为现行的设计， B是新的设计。比较这两个版本之间你所关心的数据（转化率，业绩，跳出率等） ，最后选择效果最好的版本。

1.忘掉你原本对用户的了解

是的，人们都太容易陷入对用户年龄，性别，位置，或收入的假设之中。曾经，“客户分析”是与用户接触的最好的（甚至是唯一的）方法。即便是现在，它在市场营销中也占有一席之地。

2.建立一条基线

诚然，提高转换率是你的近期目标，但是在你开始 A/B 测试之前，你需要建立一条基线，如果你不知道你目前的转换率是什么，你将如何知道你未来的测试是成功的？（更多请看第5条）

3.对别人有效的方法，对你未必适用

你必须对你自己独特的内容与你自己独特的用户进行 A/B 测试。当然，你可以从其他CRO人员那里套用类似方法，但不要指望能得到相同的结果。

例如，一个销售鞋带公司和一个销售企业应用软件的公司，同样客户都很普遍，但是购买周期完全不会一样。前者的网页上修改一个按钮颜色能提高销量，对于后者可就未必如此。

4.一次只测试一项内容

这个是不言而喻的，但值得一提，因为非常重要。在一段时间，对一个变量进行 A/B 测试，这样的结果是可读的。但是如果你改变你的标题在同一时间你改变你的导航，你怎么会知道哪个变量促成了最多的转换？

5.不要急于下结论

在 A/B 测试中，统计置信指的是如果再次运行相同的测试，是否能有相同的结果。换句话说，它会告诉你测试结果是否可信。

例如，假设在购物车页面进行 A/B 测试，其中“A”是单选按钮而“B”是下拉菜单。于是就有了结论，“B”提高了75％的转换率。显然，B更好，是这样吗？

不一定。因为有三个事实需要考虑：

1.样本容量

还是上面的例子，如果你的样本量为4人，这意味着只有3人喜欢下拉菜单。当然，这是一个良好的开端，但在1000的样本量仍是这一结果的可能性极低；因此，本次测试的结果属低置信度。

2.容错率

例如，在样本大小为500时，99％的客户倾向于下拉菜单，你可以相当肯定的是，你的误差率较低。如果，49％的用户喜欢下拉菜单，51％的用户喜欢单选按钮，那么随机性就不得不考虑进来了，你应该继续运行测试，直到一个更高的置信度。

3.用户规模

如果你的整个用户群体的规模是25万，你的样本量为25人，这样产生测试结果也不具有高置信水平。

6.路要一步一步走

老生常谈的一名话了。随着客户的看法和期望的发展，CRO永远是一个不断前进的目标。不怕犯错，从中练习，你就会成为一个 A/B 测试的高手。

7.多收集一些意见

用户测试从未像现在这样重要，也从未如此简单！即使你没有这样一个部门去专门做用户测试，也选择一些免费和低成本的服务。

1.Peek by UserTesting

Peek 是一个超级简单，快捷的方式，收集有关您的网站的定性反馈。

优点：信息反馈一般是公正的，详细的，而且免费！

缺点：不能在其目标受众之外测试接口。此外，费时较长。

2.Amazon Mechanical Turk

优点：一般比较廉价，可扩展，定量，你可以预先选择标准。

缺点：这通常是通过调查引擎，可以引入人为的过滤器。

底线：有反馈总比没有反馈强！

8.实际用户表现可能和用户调查数据相左

用户调查会引入人员误差，而原始用户表现统计数据则不会有这些问题。

例如，你现在急着去开会，要打印文件却发现打印机没墨了，你会怎么做呢？

也许你会说，很简单啊，换个新墨盒打印完呗。如果这是一个用户调查，我会接受你的回答。

但是如果是在用户测试环境，我会记下你敲了打印机4下，清除卡纸，又狂按“取消”按钮7次，再换下墨盒。整理文件时你又打翻了咖啡，洒在了衣服上，于是只好重新安排会议时间。

在调查中，你确实没有说谎，你也确实换墨盒了，只是会忽略前前后后那么多行为。

9.明确定义你成功的标准

不要忘记初衷： CRO 是要提高转化率。不是打开率，点击率，转发率，好评率，或固定率。（除非你的网站就是做这个的）

底线：心中有一个目标，优化周围的目标，你的内容。一切是一个关键绩效指标（KPI）。

10.不要去测试无关紧要的因素

用你的常识去测试你的直觉，直接测试高影响因素。

End.

作者：那些数据驱动的优化

来源：http://www.36dsj.com/archives/72283

本文来源于人人都是产品经理合作媒体@36大数据，作者@那些数据驱动的优化