三个常用统计模型的典型应用场景

1 评论 42408 浏览 97 收藏 9 分钟

跟大家聊三个常用统计模型的应用场景。哪三个模型呢?决策树、K-means聚类、因子分析。

为啥是这三个模型呢?因为这三个模型分别代表了数据分析的三种思路:分类、聚类、降维。

为啥只说应用场景?因为具体模型有很多专业书籍讲的更好,而且我个人认为,模型是固定的,场景是多变的,知道什么时候该用什么模型,比会用这个模型更重要一些。

那么,接下来正文开始。

一、决策树

定义:机器学习中,决策树是一个预测模型;它代表的是对象属性与对象值之间的一种映射关系。

个人认为决策树最出名的应用应该是这个:

076fc4dd9a0197b62c02dfd61838aeea_b

你们头脑里隐藏的任何念头,

都躲不过魔帽的金睛火眼,

戴上它试一下吧,我会告诉你们,

你们应该分到哪一所学院。

你也许属于格兰芬多,

那里有埋藏在心底的勇敢

他们的胆识气魄豪爽

使格兰芬多出类拔萃;

你也许属于赫奇帕奇,

那里的人正直 忠诚

赫奇帕奇的学子们坚忍诚实,

不畏惧艰辛的劳动;

如果你头脑精明

或许会进智慧的老拉文克劳,

那些睿智博学的人,

总会在那里遇见他们的同道;

也许你会进斯莱特林,

也许你在这里交上真诚的朋友,

但那些狡诈 阴险之辈却会不惜一切手段

去达到他们的目的。

分院帽应用的是个非常典型的决策树模型(什么鬼),在上文的《分院帽之歌(节选)》中,我标粗的每个部分都可以认为是一个特征,帽子往学生头上一扣,读取学生的显著特征,然后分到某个类别里。所以你看,哈利波特一开始表现出来的特征都是格兰芬多的特征,但他毕竟是个魂器,分院帽读取数据时候发现这个人有两类显著特征,于是犹豫不决,最后还是波特自己提出了要求,这就证明应用模型时的人工干预必不可少(大雾)。

言归正传,决策树在实际工作中基本应用于给人群分类,最好的应用场景是要把人群分为互斥的两类,并找到两类人群的不同特征。当然,分为多个互斥类别也OK。

一个非常典型的场景是流失模型,对电信业来说,通过用户的行为来提前找到哪些人有流失风险,并通过专门优惠等手段挽留,是运营中的重要部分。之前我在转入互联网行业时,第一选择本来是游戏公司(可惜愿意收的给不起合理工资……),因此研究了一下游戏用户流失模型的内容,发现跟电信业有相通之处。举个例子,对于某款端游,定义超过一周不登录用户为流失,那么做过的任务、拿到的装备、打过的副本、充值金额等等,都可以作为预测用特征,比对流失与非流失用户,找到两者的区别,在关键流失节点上加一些运营策略来减少流失。

二、K-means聚类

定义:k-means聚类的目的是:把n个点(可以是样本的一次观察或一个实例)划分到k个聚类中,使得每个点都属于离他最近的均值(此即聚类中心)对应的聚类,以之作为聚类的标准。

K-means聚类的好处在于样本量大的时候,可以快速分群,但需要在分群后注意每个群体的可解释性。换句话说,给你一万个人,分成四群,需要能够解释每一群人的突出特征,如果有两群人的特征很相似,那就要重新分群了;或者有一群人的特征不明显,那就要增加分群了。

聚类与分类不同,分类的目的是得到可复用的规则,使得训练集以外的个体可以直接分到已知的类别里;聚类属于后验的研究,是对已有个体的辨别。当然聚类可以在一定条件下转化为分类,例如K-means里知道了每类的中心,那么新个体可以依据和每类中心的距离,来判断所属类别。但通常情况下,聚类方法本身仍是用于研究的次数更多。

K-means常用的场景是在不清楚用户有几类时,尝试性的将用户进行分类,并根据每类用户的不同特征,决定下步动作。一个典型的应用场景是CRM管理中的数据库营销。举例,对于一个超市/电商网站/综合零售商,可以根据用户的购买行为,将其分为“年轻白领”、“一家三口”、“家有一老”、”初得子女“等等类型,然后通过邮件、短信、推送通知等,向其发起不同的优惠活动。

明尼苏达州一家塔吉特门店被客户投诉,一位中年男子指控塔吉特将婴儿产品优惠券寄给他的女儿——一个高中生。但没多久他却来电道歉,因为女儿经他逼问后坦承自己真的怀孕了。塔吉特百货就是靠着分析用户所有的购物数据,然后通过相关关系分析得出事情的真实状况。

这个案例也算是与”啤酒和尿布“知名度差不多的一个案例。在这个案例中,那个高中生少女明显是被聚到了孕妇那一类,因为她的行为模式与孕妇是很相近的。

(决策树也可以做这件事,但需要先定义出特征,因此在探索特征未知的领域时,聚类可能更好用一些)

顺便说一句,我原先在国企的时候干的就是这个事,而且发送渠道是最土的那种……平信……术语叫数据库商函……也叫直复营销(不是直销也不是传销!)。谁对此有兴趣可以看看我这个答案……利用什么可以让产品在市场上公开透明?如何去做? – 陈丹奕的回答

三、因子分析

定义:因子分析是指研究从变量群中提取共性因子的统计技术。因子分析可在许多变量中找出隐藏的具有代表性的因子。将相同本质的变量归入一个因子,可减少变量的数目,还可检验变量间关系的假设。

之前说到因子分析是降维的一种方式,而降维归根结底就是一句话:变量太多的时候,需要将变量重构成带有更多信息的新变量,新变量与原始变量之间存在相关性,这样才能在不损失太多原始信息的情况下减少变量数量。

因子分析的一个典型应用场景是满意度调查。通过市场调研方式获取消费者满意度时,通常会有两位数的问题来了解消费者对哪些方面满意,哪些方面不满意,这个时候因子分析就很重要,可以将消费者的问题归结为相对较少的几个大问题方向,同时也可以看出哪些问题更为重要,需要优先解决。

那么,本篇文章到此结束,感谢大家的支持。

 

作者:陈丹奕

链接:https://zhuanlan.zhihu.com/p/20461694

本文由 @陈丹奕 授权发布于人人都是产品经理,未经作者许可,禁止转载。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 我还以为是小喵写的呢。

    回复