编辑导语：在渗透式项目中，往往需要通过测试对照来支撑运营快速决策，那么哪一种测试对照才是科学有效的呢？本文从全量的AB测试对照的局限性出发，提出了一种全新的付费会员对照评估方法，一起看看吧。

一、现状问题

随着业务的发展，我们发现AB测试的全量对照存在较大的局限性，比如在渗透式项目这种场景下，由于项目前期渗透率较低，通过全量的AB测试对照往往会导致整体增量价值不高，无法支撑运营快速决策是否可以持续投入项目。

什么是渗透式项目？

渗透式项目是特指在运营周期内，可预见性地无法快速达到高用户渗透率的产品，例如付费会员、积分等。它往往跟常规的AB测试中文案调整、UI优化等元素对实验组用户可以100%影响的项目相对。

二、解决方案

根据翻阅行业内的相关资料，笔者无法在行业内找到已经落地的可行的解决方案，于是沿着这个问题进行思考。

解决这个问题的核心点在于：

找到渗透节点的用户的对照组，对比两类用户的用户价值数据。

什么是渗透节点？

可以理解为，渗透式项目的用户核心行为节点即为渗透节点。例如：付费会员项目对应的「购买付费会员」行为节点，积分项目的对应「领取积分」行为节点。

评估步骤：

经过思考，找到了一个方法，由于行业内没有找到其他人有发表过这种方法，暂且将此对照方法命名为「碧落对照法」，具体步骤如下：

1. 数据测试

根据常规AB测试方法对渗透式项目进行测试（这里不对AB测试的知识做展开介绍，不理解的同学自行搜索学习）。

假设该项目分两组，分别是实验组A及对照组B

2. 数据回收

1）回收AB组分别的大盘实验进入用户数及用户价值数据。

2）回收实验组中渗透节点的用户数及用户价值数据。

3.数据分析

1）AB组渗透节点的用户增量价值评估

实验组A未渗透人群数量及价值测算：假设实验组A未渗透的用户数及对于的用户价值为a3和A3，那么：a3=a1-a2，A3=A1-A2。

对照组B理论上渗透/未渗透用户数量测算：假设a2和a3在对照组B中分别有两组用户对应，理论上用户数量比例应当一致，我们假设对应的为b2和b3，那么：b2=a2*（a1/b1），b3=a3*（a1/b1）=b1-b2。

• 对照组B理论上未渗透人群价值测算：理论上，b3人群跟a3人群的人均价值一致，我们将b3人群的总用户价值定义为B3，那么：B3=b3*（A3/a3）。
• 对照组B理论上渗透人群价值测算：根据上述数据，很容易得出对照组B理论上渗透人群价值，我们认定为B2，即B2=B1-B3。

实验组A渗透节点的用户增量价值测算：

△实验组A渗透节点用户增量价值提升比例=（b2*A2/a2-B2）/B2

2）AB组大盘用户价值数据对比

实验组A大盘用户增量价值测算：△实验组A大盘用户增量价值提升比例=（b1*A1/a1-B1）/B1

3）预估渗透式项目的渗透率上限，以此预估在高渗透率下项目的理论增量价值

假设该项目预估渗透率上限为X，显然：1≥X≥a2/a1。假设在该渗透率状态下，a2和a3人群各自的人均价值不变（实际上，随着渗透率的逐步提高，两类用户的人均价值均有可能下降），那么，在该项目渗透率状态下，大盘的用户增量价值将在新的状态下得到整体的提高，测算逻辑跟现有状态下测算一致。

4. 举个例子

1）数据测试

以某APP付费会员项目为例，我们对付费会员项目进行AB测试，比例为5：5。

2）数据回收

a. 回收付费会员AB组分别的大盘实验进入用户数及交叉用户数据。

交叉定义：某平台的完成两个及以上业务交易的用户。

b. 回收实验组中购买付费会员的用户数及对应的交叉用户数据。「购买付费会员交叉率为24%=240/1000」

3）数据分析

a. 购买付费会员用户增量价值评估

实验组A未购买付费会员用户数量及对应交叉用户数：

• 实验组A未购买付费会员用户数量=10000-1000=9000。
• 实验组A未购买付费会员用户对应交叉用户数=1050-240=810。「未购买付费会员交叉率为9%=810/9000」

对照组B理论上的购买/未购买付费会员用户数量测算：购买付费会员用户和未购买付费会员用户理论上分别为：1000和9000。

• 对照组B理论上未购买付费会员交叉用户测算：理论上，对照组B跟实验组A中未购买付费会员的用户交叉效率应该一致，那么，对照组B中未购买付费会员交叉用户数=9000*（810/9000）=810。
• 对照组B理论上购买付费会员交叉用户测算：根据上述数据，很容易得出，对照组B理论上付费会员交叉用户数=1000-810=190。

实验组A购买付费会员的增量交叉用户比例：

△实验组A购买付费会员用户增量交叉用户提升比例=（240-190）/240=20.83%。

b. AB组大盘用户价值数据对比

实验组A大盘交叉用户增量测算：△实验组A购买付费会员用户增量交叉用户提升比例=（1050-1000）/1000=5%。

c. 预估渗透式项目的渗透率上限，以此预估在高渗透率下项目的理论增量价值假设该项目预估渗透率上限为50%。

假设在该渗透率状态下，购买付费会员和未购买付费会员的交叉效率不变（实际上，随着渗透率的逐步提高，两类用户的人均价值均有可能下降），那么，在50%的渗透率下，对应的大盘增量交叉用户提升比例=（2600-1000）/1000=130%

三、总结

总结一下：

本方案的核心是，通过模拟计算找到渗透节点用户在对照组同样的用户的价值数据，以此取得相对合理的对照。

本方法具有一定的先进性：

在项目渗透率低且大盘价值增量对比不明显时，本方案可以找到一个理论上的渗透节点用户的对照组，能够应用到运营上快速决策项目是否可以进一步推进。

但同时也有它的局限性：

跟AB测试一样，所有的增量数据只能反映当下的数据增量，不能直接视为长期的数据增量。随着渗透率的提高，项目预估高渗透率状态下的理论增量价值实际并不准确，有可能盲目高估。

作者：碧落，微信公众号：运营沉思录

本文由 @碧落 原创发布于人人都是产品经理，未经许可，禁止转载。

题图来自 Unsplash，基于 CC0 协议