【数据】是如何坑人的?
编辑导语:随着大数据时代的不断升级,数据在我们的生活工作中显得尤为重要,其实在很早之前人类就用数据来进行记录,随着社会的发展,网络时代更需要数据的记录以及支撑。本篇文章中作者从三方面详细的讲述了关于数据的“坑”,一起来看一下吧。
开篇直接看案例:现有两个广告素材A和B,要测一下它们谁更能吸引用户转化,评比的指标是转化率。(转化率=转化数/曝光数)
为保证实验公平,它们都设置了相同的预算额度,并且都在中午12点开始投放,然后到了晚上12点同时关闭。
这样跑了半天,两组广告也都基本花完了预算,结果发现:
- A一共曝光6500次,转化了70个用户,转化率是1.077%;
- B一共曝光6200次,也转化70个用户,转化率是1.129%;
看到结果后,广告投放师小李就认为:B素材的转化率更高。
这时,营销总监老王却说:到目前为止,我更愿意相信A要高一些。
小李一脸懵逼,问:为啥啊?
老王嘬了一口星巴克,解释道:即使是相同的广告,在不同的时段也会有不同的转化率。一般来说,下午的转化率是低于晚上的,因为大部分人白天都有事情,不太容易被转化,而到了晚上,大家都有空了,所以更容易被转化。
小李又问:你说的对,但跟这次投放实验有啥关系呢?
老王继续说:我刚从后台看了素材的来量情况——A素材下午转化50个,曝光5000次,晚上转化20个,曝光1500次;B素材下午转化20个,曝光2200次,晚上转化50个,曝光4000次。
其实不管是下午还是晚上,A的转化率都是更高的。而你之所以认为B更高,主要是因为B在晚上才跑出了量——它捏的“软柿子”比较多,你就误以为它更厉害…
看到这里,可能你还有点懵:是啊,如果拆开来看,确实A更高,但合并看总数的话,又是B更高…
那这到底该怎么看呢?
一、坑1:辛普森悖论
上文的现象,就是典型的“辛普森悖论”(Simpson’s Paradox)——在某个条件下的两组数据,分别讨论时都会满足某种性质,可一旦合并考虑,却可能导致相反的结论。
这也是在其他领域的工作中经常会遇到,并且经常会坑人的一个现象。
几乎每一家公司,上司都会让下属把业务层面的各种数据进行汇总,然后呈报给自己,并自以为了解了“总体”的情况。
不过,谷歌的一位数据大牛曾说过:“汇总的数据往往就是一坨屎,没有任何意义。”
为什么这样说?
抛开专业的数学分析,如果用最通俗的语言来解释,我认为就是:20头猪就是20头猪,50颗树就是50颗树,但如果你硬要把它们加起来(20+50=70),这个70是毫无意义的——它能代表什么呢?什么都代表不了。
汇总的数据,除了象征性的汇报工作,往往并无其他意义。为什么说是“象征性”的?
因为如果汇报工作是为了指导决策,那很可能就把人带进了坑里。
就像上文广告素材的案例,如果营销总监想偷懒,只看最后的结果,那他很可能就误判了广告素材的优劣。更严重的,甚至会导致后续投放的素材都沿着“坏素材”的方向去优化。
还好他有一定数据分析的基础,避免了这个坑。
所以在真实的情况中,如果一定要就此盖棺定论,确实是A要高一些。(当然更科学的做法是继续实验,并通过加大预算/严控时段,来减少偶然性,以及不同性质的数据占比的差距)
除了广告投放,辛普森悖论还经常出现在各种各样的数据统计活动之中——需要算比率的统计基本都会出现,比如:
- 转化率
- 留存率
- 合格率
- 负债率
- 投资回报率
- ……
那么,如何才能避免汇总数据可能带来的坑呢?
关键记住8个字:不同性质,拆开来算。
二、坑2:误把相关当因果
“啤酒与尿布”的故事大家应该都听过——通过相关性分析,商家发现啤酒的销量与尿布的销量高度正相关。于是他们在陈列上,把啤酒和尿布离得更近,以此来提高销量。
当然,这完全是个不切实际的、杜撰的故事。(杜撰者是Teradata公司的一位经理——估计是营销经理,为了说服商家购买他家的数据服务,编的软文)而这里想说的重点是:相关性分析。
如今,不管是传统行业还是互联网行业,数据已成为企业内部最重要的资产之一。
而各家公司的数据分析师,几乎每天都会做的一件事就是:分析各个因素之间的相关性,并以此来找到增长方法。
比如游戏公司发现:用户玩游戏时间越长,留存往往越好,所以就重点提升新用户的游戏时长,以此大幅提升留存。
再比如便利店通过监测发现:人们逆时针环顾店内的时间占比越大,人均消费就越高,所以在装修和陈列上,就尽量引导人们逆时针行走。(因为右撇子的人更多,而一般逆时针环店能让更多商品出现在人右侧,这样拿东西更方便,也就拿得更多了)
不可否认的是:通过相关性分析,确实能找到很多有效的增长方法。不过,过于迷信相关性,有时却会带来相反的结果。
比如某社交APP想提高留存。
他们发现:用户发消息的条数,与留存的相关性系数是最高的。
不仅如此,他们还发现:消息条数超过500的用户群体,与没有超过500的用户群体,留存情况出现了断崖式的差异。(这里的“500”,通常被称为“魔法数字”)
于是,为提高留存,团队就提出:假如我们设法提升新用户发消息的条数,尽量使之超过500,就可以明显提高留存了。
再于是,他们就通过设置“阶段性有奖任务”(发消息到一定条数,就会触发获奖提示,并告知下一个有奖任务),将所有新用户的消息条数都给拉了上去,并基本超过500。
然而,最后的结果却是:虽然整体的短期留存上去了,但整体的长期留存反而下降了。
为什么会这样?明明消息条数和留存的相关性是最高的呀…
其实,这就是典型的误把相关当因果,甚至是因果倒置——不是因为条数多,所以才留存好,而更多是因为留存好,所以才条数多。
上述的方案,虽然短期能通过利益提高留存,但对真正愿意使用产品的用户来说,获奖提示可能是一种打扰。
另一方面,利益的刺激会带动更多非目标用户(羊毛党)下载和使用APP,拉低用户质量,所以长期留存就降了。
而最终关于留存的优化方案,其实是在广告方面:因为该APP是重点参考Instagram来做的,特点在于图像相关的功能。
但此前的广告只是模糊的说了“好玩有趣”,没有突出具体的“功能和使用场景”,所以造成用户预期与产品不符,留存就不高的情况。
有趣的是:在之前数据分析的结果中,广告与留存的相关系数并不算很高。
三、坑3:只信看得见的数据
如果说上述两个坑,分别是因为对数据和业务不够理解才掉进去的,那第3个坑,可能就是越理解数据和业务,就越容易掉进去。在以往的文章中我也说过:数据最大的问题,是它只能显示有数据的信息,而不能显示没有数据的信息。
克莱因·克里斯坦森将这两种信息分别称作:积极数据&消极数据。
积极数据是指有结构、可量化的数据。比如:销量,销售额,留存率,转化率,复购率,利润率,付费率,性能指标,市场规模等等…(能规范的被整理到Excel里的数据都是积极数据)
而消极数据呢,就是指那些没有清晰的结构,也很难被发现和量化的数据。比如用户使用产品背后的动机,情感,观念,习惯,以及这些因素跟随时代的变化等等。
从业务诞生的那天开始,企业就会掌握越来越多的积极数据:
- 哪些产品卖得最多?
- 哪些产品利润最高?
- 复购率如何?
- 顾客年龄如何分布?
- 市占率是多少
- ……
而随着积极数据的增多,它对企业内部的影响也会越大:
- 销售部会根据不同产品的销量和利润,去影响生产规划
- 品牌部会根据品类在网络的关键热词,去调整产品卖点
- 投放部会根据老用户的属性,精准投放新用户
- 客服部也会根据用户反馈,给产品提优化建议
好像一切都会正向发展,并慢慢沉淀为“经验”。
不过,一些“经验之外”的东西,也在酝酿和发生着。以电商为例,当阿里和京东根据自己的增长经验,扩充更高客单价的品类,抢夺更高净值的人群,设立专门的打折促销日,并战略性放弃低端市场的时候,拼多多却突然冒了出来,并且只用几年就变成用户量全国第一。
阿里和京东其实都没有错,但拼多多是凭什么?那些低线的用户,为什么不用淘宝,却要用拼多多?
因为更便宜。
为什么拼多多更便宜?因为它有很多作坊货、山寨货。
那为什么这些作坊货、山寨货要去拼多多卖?
一方面是其他平台不让卖,另一方面,拼多多的拼团模式能让他们利薄多销——跟在线下参加赶集一样。
是的,对于低线的用户(包括商家)来说,拼多多才是首个把他们线下购物的场景搬到线上来的APP——不管是组团购物、砍价还是买卖山寨便宜货,本来就是他们线下的日常。
至于淘宝和京东,对他们来说则更像城里的商场——贵,去的次数也不多。(而且对他们来说,但凡贵的东西,要看到实物才踏实)
这跟“积极数据”和“消极数据”有啥关系呢?先说“消极数据”。
为什么拼多多能看准这个市场机会?还发明“社交电商”这个新物种?
其实,对于低线用户来说,购物本身就是社交——大家一起上街买东西;遇到熟悉的商贩砍砍价,你买一斤花生,他送你两颗枣;你帮隔壁大婶带点葱,隔壁大婶帮你带点盐。既有商品交易,也有情感往来——这就是拼多多洞察到的,关于用户购物的消极数据。
所以,什么“帮砍拼送”,什么“社交电商”,本来就来源于生活,来源于对那些消极数据(动机,情感,观念,习惯等)的洞察。
拼多多只不过是把它们搬到了手机上,让它更容易发生而已。
至于阿里和京东,毋庸置疑,他们的核心团队一定是既懂电商业务,又精于数据分析。不过,这么专业的团队,为什么没有在拼多多之前把握市场机会?
这里的原因是多方面的。
企业要增长,团队要成长,自然更愿意把注意力放在利益更大的地方——更高净值人群,更高客单价产品,更高频的产品等等。(包括现在的拼多多也一样)
另一方面,如泉涌喷的积极数据,也很自然的将内部注意力集中于产品和指标:
- 如何提升物流效率?
- 如何提高广告收入?
- 如何提高用户活跃?
- ……
就这样,在利益和数据的驱动下,他们会越来越了解自己的用户,并提供越来越好的产品和服务。
但与此同时,他们也会越来越了解谁不是自己的用户——“那些低线的人,就不是典型的电商人群,我没什么精力去关注他们。”
不过,正是因为这种因数据导致的、慢慢被固化的偏见,所以才导致市场被分化,被占领,甚至被颠覆。
本文由 @小云兄 原创发布于人人都是产品经理,未经作者许可,禁止转载。
题图来自Unsplash,基于CC0协议。
第一个理论和分析看得我恍然大悟,去掉没意义的总和,独立分析.
第一个理论和分析看得我恍然大悟,去掉没意义的总和,独立分析
着实好文!
分析数据要尤其注意具体问题具体分析,不能单看表面,也千万不能忽视用户使用产品背后的动机,情感,观念,习惯,以及这些因素跟随时代的变化
好文!