编辑导语：AB Test是一个很好的导航系统和说理工具，策略分析师在各个场景使用这种分析方法，可以形成一个完整的闭环；本文作者分享了关于AB Test如何应用于风控场景，我们一起来看一下。

下图为策略分析师工作流程的自检清单，相信很多人都看过了，本篇文章针对其中的AB test 环节详细阐述。

一、A/B Test 概念

什么是AB Test？

1）我们先通过一张图来了解系统的概念，做一做铺垫：

如上图，系统，就是将多个输入转化成输出的中间过程（图中的输入，也称为变量）。ps：有数学背景的同学，可以把系统理解成一个多元函数y=f(x1,x2,x3)。

2）然后基于系统图导出控制变量法

如上图所示，由于影响系统输出的输入变量有多个，如果我们需要考察其中某一个输入变量（比如输入1）对系统输出的影响时；我们需要在保持输入2和输入3不变的前提下，改变输入1，然后观察输出的变化，从而确定输入1对输出的影响；这就是控制变量法，核心是控制其他变量不变，排除其交叉影响，单独观察某一个变量对结果的影响。

3）再基于控制变量法引出对照组的概念

当我们保持输入2和输入3不变，单独改变输入1时，我们需要在样本中确定有多大比例的样本（不）需要改变输入1，由此按比例随机抽样、从而形成两个相互对比的样本（改变输入1的一般称为实验组，不改变输入1的称为对照组）。

如果我们设定，对照组和实验组各占50%，则形成如下的两组样本：

从上表的例子我们可以看到，变量1增长50%时，输出变量增长60%，因为这是排除了变量2和变量3的影响之后的数据，可以无可辩驳地说明变量1对输出变量的影响（方向及强度）。

4）最后回到我们的核心概念AB Test

AB test就是通过随机抽样设置对照组和实验组，A是对照组，B是实验组，AB两组占比由实际场景决定（任意一组的占比一般不能太低，要满足统计学意义），加起来是100%。

由于是随机抽样，AB两组一开始是完全相同的样本；然后，改变一个变量，使得B相对A来说只有一个变量不同，从而可以将该变量单独拎出来、观察它对输出结果的影响：

具体到业务场景中，A和B又分别指什么呢？举个例子：

AB可以是不同的风险策略（比如策略A是多头>5，策略B是多头>7），可以是不同的产品版本（如产品A需要输入验证码，产品B不需要输出验证码）……等等，一切你需要做对比、然后做出选择的两个方案。

PS：

• 对照组方法，是科学研究中用途极广的方法，有着坚实的统计学理论支撑；
• 产品部门经常用到对照组方法，产品部一般称为AB Test，这种叫法比较通用，为方便交流，本文采用此种叫法；
• 风控部门也经常用到对照组方法，一般称为“冠军挑战者”。

二、A/B Test 适用场景

以下我们针对常用的几个场景，给出基于AB test的解决方案，给大家展示AB test在风控中的典型应用场景、应用方式及其效果，希望大家能够举一反三，在自己的工作中能用上。

AB test方法应用灵活、基于实际场景千变万化，也有一些需要避免的问题，整个AB test机制包括需求分析、机制设计、数据分析、策略调整等，是一个完整的闭环。

场景一：无法确定策略调整的效果，找不到策略调整的方向

问题剖析：评估策略效果的指标大家都很明确，而无法明确效果，究其原因，是因为影响风控指标的输入变量有多个，包括客群质量、时间、风险策略等；而策略只是其中的一个变量，调整策略变量的同时，其他变量可能同时发生改变，因此无法确切评估策略的调整对风控指标的影响。

解决方案：假定我现在的策略是A，我想调整策略，没有AB test可能直接改了，引入AB测试之后，我设定A组比例为70%，B组比例为30%，随机70%的客户走原来的A策略，随机30%的客户走新策略（假设叫B策略），测试周期为两周（核心是要达到观测样本量）：

Ps：测试完毕之后可以停止测试，全部客户都切回A策略或切到下一个B策略（视情况而定）。

到表现期出来之后，经过数据分析：

结果若如图1，整体逾期率均呈上升趋势，说明客群变差；但B策略在客群变差的环境下其同期逾期率增长低于A策略，说明B线策略较A策略好，调整有效，可以考虑将B策略转正，作为新的冠军策略；

结果若如图2，整体逾期率均呈下降趋势，说明客群变好；B策略在客群变好的环境下其同期逾期率下降低于A策略，说明B策略较A策略要差，调整失败。

（以上两个例子证明，要明确整体的变化方向，才能确定策略调整的效果。）

至于策略的调整方向，AB两套策略的差异点你是完全知道的，这个差异是造成最终逾期率不同的唯一原因，找到其中大头的差异点，就是本次调整的方向。

比如，假设在图2的场景下，发现A策略是多头>5拒绝，B策略是多头>8拒绝，这是两套策略的差异点，这个差异点造成了逾期率的不同，于是可以收紧B策略的多头规则阈值。

场景二：已经明确要调整的具体规则，目前有多个方案，无法确认哪个方案最优

问题剖析：已经知道要收紧的具体的规则了，但是有多种收紧方案，在策略流程上，是前紧，还是前松后紧，着实让人无法抉择；因为在风险策略人员的视野里，不仅仅只有通过率、逾期指标；还有征信成本、数据信息量等其它纬度的考量因素。

解决方案：直接对确定调整的规则进行A/B Test 即可。

总结一下，策略的AB test机制，是一个很好的导航系统和说理工具，作为导航系统，它让策略人员在调整策略的时候，知道自己的方向，因此明明白白；作为说理工具，它让策略人员在展示自身工作对全局影响的时候，听众心服口服。

本文由 @FAL金科应用研院 原创发布于人人都是产品经理，未经许可，禁止转载。

题图来自 unsplash，基于 CC0 协议