笔者将用“用户增长实验三部曲”来介绍实验思维、实验如何用来归因、以及准确量化结果。生活中，我们经常可以看到归因错误的例子。那我们就可以用实验思维来归因验证以及评估增量，而不是让实验思维局限于科研、医学和用户增长工作。

01 两类归因错误的例子

1. 错把相关当因果

假设A和B两件事情，简单说因果性就是指原因A造成了结果B，A导致了B；而相关性指A的发生伴随着B的发生，A和B很可能没有直接联系。因果性和相关性的混淆充满了我们的日常生活，很多时候我们误把相关性当成因果性，去做错误的归因。

例子很多，简单举一类例子如下：

• 经常喝红酒有助于身体健康
• 从小学习弹钢琴的孩子学习成绩比不学的人要好
• 经常喝咖啡的人更容易得心脑血管疾病

这里例子都呈现出一些相关性，并且如果需要一定能够给出详实的数据支持，但是结论却不一定成立。

稍微仔细推敲我们能够发现，喝红酒的人健康，是因为喝红酒，还是因为喝红酒的人群，有着相对好的生活环境和医疗条件？

类似的，从小学习钢琴的小孩，他们的家庭条件、对教育的投入程度是不是会更好？

而苦逼的经常喝咖啡的是加班族、熬夜党，他们得心脑血管疾病的概率是不是要高于常人？

所以，面对这些信息时，不能简单的拿相关当因果，应该需要更进一步、更严谨的研究，而实验是最好的方法。

2. 结论先行造因果

结论先行很常见，有了结论各种找理由和数据去支撑去这个结论。心理学中的“禀赋效应”，解释了这种现象。多数人会觉得自己的东西就是好的，自己的行为总能带来积极影响。

比如买股票，一顿操作之后（指卖了一些又买了一些）发现自己挣钱了，但是操作后挣钱了，有两个可能性：

• 大盘涨了，你只是随大盘涨实际并没有增益；
• 确实是操作带来了增益。可以假设回到没有操作，简单按照操作前的持仓情况计算当前的收益，就知道答案了。

又比如，微信这样的超级App，每个版本都要上线很多个优化点，假设上线后发现朋友圈的用户活跃度提升了。

那么问题来了，究竟是哪个优化点带来了这个提升呢？

这个很难说清楚，以至于大家在总结工作的时候，都会或多或少的把增长归因到自己那个优化点，用新版本上线后与上线前的活跃数据来简单比较。这里最明显的漏洞有两个：

1）把活跃度提升和具体某个优化点建立关联，最多就是相关性，而不是因果性。除非你这个优化点带来了压倒性的变化，无可置疑的拉动整体活跃，比如前段时间的朋友圈支持发表情~

2）用新版本上线后比上线前，忽略了活跃度随时间波动的影响：有可能上线后这段时间因为某些热点事件爆发，大家纷纷转发刷屏带来了提升。

再比如，这篇文章的分享和在看比之前要多了，甚至还有打赏，我可能会觉得是我写的比之前的更好了……但其实不一定呀~~

02 两个正确归因的例子

1. 医学中的双盲实验

双盲实验应用在医学上，全称是随机双盲对照实验。

首先是把若干被试者随机分成实验组和对照组，然后进行不同的治疗方案，以此验证药物或者疗法是否有用，或者是否有副作用。

“双盲”的具体解释，可以参阅下方：

双盲实验是一种严格的实验方法，实验者和参与者都不知道哪些参与者属于对照组（control group）、哪些属于实验组（experimental group）。只有在所有数据被记录完毕之后（在有些情况下是分析完毕之后），实验者才能知道那些参与者是哪些组的。

采用双盲实验是为了要减少偏见（prejudices）和无意识地暗示（unintentional physical cues）对实验结果的影响。对于被试者的随机分配（Random assignment）到对照组或者实验组的做法是双盲实验中至关重要的一步。确认哪些受试者属于那些组的信息交由第三方保管，并且在研究结束之前不能告知研究者。

——百度百科

更加生动的版本，可以在读完本文后，到bilibili去看下李永乐老师的视频：

通过双盲实验，甚至是更严谨的三盲实验（即受试对象、研究人员和实验分析人员均不知道受试对象的分组和处理情况），历时很久，才可以得到严谨的结论。

题外话，所以西药的研发和实验成本相当高，价格也相对高一些。

2. 经济学中的实验方法

2019年的诺贝尔经济学奖授予了麻省理工和哈佛大学的三位经济学家，他们主要的贡献是长期以来在发展中国家使用随机对照实验的方法，验证了增加教育投入、提升医疗水平对于经济增长的核心作用。

获奖者是来自麻省理工的夫妇Abhijit Banerjee和Esther Duflo以及哈佛大学的Michael Kremer

官方颁奖词是：

“表彰其在全球扶贫问题上使用的实验型方法（for their experimental approach to all eviating global poverty）”

列举一些他们的实验内容，可以感受下实验可以解答哪些我们的生活中的疑问：

• 健康：社区医疗能改善居民的健康水平吗？（针对非洲乌干达8100个农村家庭的研究）
• 金融：加大小微贷款的额度能促进经济发展吗？（针对埃及1000名借款人的研究）
• 教育：高科技教育工具能提高学生的成绩吗？（针对印度619名中学生的研究）

这些问题，答案看似都是“当然能啊！”，通常我们都不会去质疑。随着近几十年来因果关系成为经济研究领域的核心问题，经济学家普遍转向了证实性数据分析，而随机对照实验方法方法的应用，帮助人们找到了探索这些因果关系的有力武器。

03 生活中需要实验思维

上面说到的实验，都费时费力成本极高。也许你会说，生活中很难去做理想的随机对照实验，那实验对我们有什么用？

确实很难，很多时候我们没有实验组和对照组，没有实验条件，即使有也不愿意花费长时间去做观测。然而，基本的归因逻辑和实验思维是应该要具备的，这样才能知道哪些事情做的有效，哪些无效，或者至少可以识破假象，跳出骗局。

我把实验思维，理解成一种面对结论尽可能寻求有力证据的批判性思维，它的黄金法则是通过实验方法来验证。那么实验思维具体怎么应用？

1. 首先是要怀疑

信息爆炸谣言满天飞，需要怀疑这些结论是否经过实验验证。怀疑不等于抬杠说“任何未经实验验证的结果都不可信”，而是说的我们需要拒绝无脑接受，并且通过基本的原理和逻辑来分析。

2. 然后是尝试验证

比怀疑更可贵的是真正动手去设计实验，这里并不局限在随机对照实验，包含生活中一些谣言的验证。这里实验的目标是验证真伪，千万别忘了我们中学学的淀粉遇碘变蓝，是不是真的这样，走个实验啊~

比如说抖音、快手中经常有些生活小妙招：白醋+苏打+洗衣液几乎可以清洁万物；XX不粘锅可以不用油煎鸡蛋。这些视频不乏点赞百万+，视频下面的白醋苏打XX锅也是卖得很好。实际上，验证真伪的成本很低，更多是人愿意相信，极少有人站出来做简单验证。

所以我认为，实验思维存在门槛，门槛的根源，一是缺少怀疑精神，二是不愿尝试验证。如《人类简史》中说，人具有八卦的本能和传播的意愿，道听途说、被动接受和从众会更加安全、舒适和自然。

3. 最后准确归因和量化

假设我们在生活中、工作中有必要、且有足够的成本来设计一些随机对照实验，怎么来设计实验，用什么样的方法来做分析？

首先设计的思路要对，简单说可以概括为：”为了验证A对B是否有影响，需要把有无A当成实验变量，需要有两组可比的实验样本，一组是A，一组是A+B”。

思路很简单，这里的A和B可以替换成任何你想验证的事物。比如我们做番茄炒蛋时，番茄需要事先焯水吗？大可试试看在其他条件一样的情况下，一次焯水一次直接炒。再详细点，焯水多久，1分钟还是3分钟好吃，试一下？

准确归因相对清晰，而准确量化的最最最核心就是实验组和对照组需要有可比性，道理虽然简单，但是有很多坑，我们在实验三部曲的篇2详细介绍。然后的核心问题是需要看准增量，具体涉及到一些统计学知识、实验具体下发时的潜在风险，以及和实验目标高度匹配的分析方法，我们在三部曲的篇3详细介绍。

尾巴

实验思维以及方法在生活中、工作中都很重要。实验三部曲，我们先说实验思维，再谈如何应用在产品经理、产品运营的工作中，如何准确量化一个功能或一次运营策略的贡献，如何正确分析一个增长实验的效果。更进一步，我们还会介绍增长实验中常见的一些分析难点。

感谢支持，如有不当还请指出。

作者：jinlei886；5年+用户增长的一手经验，前腾讯、滴滴出行用户增长产品经理，专注增长策略挖掘、增长工具搭建、实验设计分析。浙江大学工学学士、理学博士。公众号：用户增长实战笔记（ID：ugnote）

本文由 @jinlei886 原创发布于人人都是产品经理。未经许可，禁止转载

题图来自Unsplash，基于CC0协议