不懂数据分析的算法工程师,会有多惨
编辑导语:算法工程师就是利用算法处理事物的人,输入相应的指令将会得到相应的输出;但是算法工程师的要求也非常高,在实体行业,他们还要会数据分析,才能在实体行业中计算出精准需求;本文作者分析了算法工程师的现状,我们一起来看一下。
“我们的算法工程师水平太差了,完全解决不了问题!”作为一个经常和传统企业打交道的乙方,这种抱怨我听得太多了,类似惨痛画面也见得太多了。今天我们系统说说。
模型厉害不厉害,厉害!你看阿尔法大狗子都把天才少年柯洁咬哭了,能不厉害吗。
于是,很多企业咬牙跺脚,出高薪,聘请来自互联网大厂的算法工程师、数据挖掘工程师、数据建模师,期望他能做出超厉害模型;“只要你能预测精准了,那我肯定能如鱼得水”是他们的口头禅。
又刚好,一批2017年左右混入所谓互联网大厂的算法工程师们,被裁员了,以为自己可以打着“前头腾阿高级算法工程师”旗号收割一波传统企业,从此乌鸡变凤凰,走上人生巅峰。
两者一拍即合。悲剧就从这里开始……
一、不考虑业务,背锅死
阵亡案例1:某传统企业,想建立产品推荐模型,精准匹配用户需求;结果才半年,招来的算法就被炒了——炒人理由:推荐不精准,反而干扰了正常销售。
甲方市场部的头头还不屑的说:阿里的推荐算法也不咋样啊。
仔细研究业务场景就发现:亲,不是阿里有问题,是你这公司不是阿里呀!阿里是平台方,在平台上有无数商品等着推。
但具体到你这个企业,就会发现:
- 有的产品是安身立命的爆款,不推也好卖。
- 有的产品是业务的心头肉,只要出一点问题,那就是千刀万剐。
- 有的产品先天短腿,功能不行、定价不合理,根本干不过竞品,推荐算法有毛用。
- 有些产品品质还行,只是在内部政治地位不高,拿不到资源,或者定价不合理,导致后天短腿。
上一任算法小哥哥,不考虑这些业务上明争暗斗,就直接上模型了;所有产品一锅炖了做推荐(还是用协同过滤,完全没考虑企业的用户粘性,用户行为数据量问题);结果,主打产品出现下滑情况,销售部、市场部联手,一起把锅往他身上甩。
结局,不但被赶走,而且搞得声名狼藉。
认真分析了这些背景以后,一个优化方案出炉(如下图):
先做好产品分析,选好后天短腿的小品类,找到背书的部门,这时候可以开干了;果然,第一波推广马上见效;于是甲方开开心心接手,自己回去优化迭代去了。
二、不细化场景,麻烦死
阵亡案例2:某连锁店,希望能建立模型,精准预测每个店铺的鱼蛋、肠粉、饭团、面包……具体到每一个SKU的销量,这样门店既不会因为积压浪费食材,又不会因为缺货错过销售;结果七个建模的小哥折腾了半年也不够精准,离职了4个,剩下仨垂头丧气。
到底如何100%精准呢!
认真思考这个问题场景,就会觉得很搞笑:真有100%精准预测鱼蛋香肠的本事,这七个小哥还打个屁工啊,直接去炒期货呀。
仔细研究以后发现:所谓的“缺货错过销售”,根本就是一句话空话;因为没有一个正式的缺货登记系统(很多企业有,但这家没有);但是积压导致的损耗率,却是结结实实的高。
于是,一个优化方案出炉(如下图):
这样运行了俩月,损耗率明显下降,实实在在地看到了成本的减少;同时,虽然也有人抱怨:“诶呀,有些店缺货了呀”。
可证据呢?证据呢?证据呢!没有数据,空口白话,说了鬼信!于是顺利扭转局面;也不出意外地,甲方自己接手继续优化了(是滴,甲方就是不喜欢签二期、三期,都以为自己能搞掂后边的,当然这是后话了,哈哈)。
三、不应对变化,含冤死
阵亡案例3:某大型渠道商,希望能建立模型,精准预测手机、平板销量,避免积压;先后换个5个做模型的,都不满意!业务给的反馈是:预测不够精准,导致决策失误。
仔细研究以后发现,问题根本不在预测上,而是业务方的反复横跳。
考核模型效果,看的是总销量,但总销量分配给每个渠道负责人后,总有人跳出来要求加量、减量;而且常常看头2周买的好,就拼命加,结果导致积压;看头2周差就都不想做,能甩就甩;最后整体数据偏差大,反而回头怪算法预测的不准。
知道这帮孙子的搞法,于是,一个优化方案出炉。
优化以后,效果立现:所谓的预测不准,90%是因为业务方自己不靠谱的谈判、预判、骚操作搞出来的;不但顺利脱身,而且也帮前边五个冤死鬼洗刷冤屈(如下图)。
四、数据质量差,着急死
阵亡案例4:某大型企业,想建立智能客服,高薪挖来一个小哥;结果来了才发现,不但原始数据混乱,因为客服培训做的太差,连最基础的分类标签:咨询、投诉、建议都是错乱一堆;结果嘛,自然是干了半年没成绩,黯然离开。
阵亡案例5:某大型企业,想建立“和抖音一样的内容推荐算法”,高薪挖来一小哥;结果来了才发现,内部根本没有内容分类标签,用户打的标签全是垃圾,90%都是空的……领导还说:“我都给了你那么多钱了,你咋不能干,为啥还要小妹来帮忙,你看人家抖音不都是算法工程师做的??”
是滴,越是迷信算法模型的,反而越不重视数据建设,都是一脸:“你都有算法了,你还要数据干啥,数据不是初等低级的吗???”
对了,应该有同学注意到,这些完蛋的周期都是半年,为啥?是因为很多算法岗位,在互联网公司就是吉祥物,为了能证明公司走在“人工智能大路上”,维持股价;所以在互联网公司的考核是远没有实体企业严格的;在实体企业半年不出业绩,不离开还怎样。
五、问题的表面原因
以上场景,如果换一个2010年左右入行的数据挖掘工程师,完全不会存在。
因为那个年代的数据挖掘工程师大部分做的是电信、银行的项目,对于数据分析方法掌握非常扎实,对于数据模型的生效场景非常谨慎;然而,一来,这些人不是轻易请的动的,二来,人家懂行。
一看你这企业:
- 领导期望过高;
- 业务相互甩锅;
- 不懂基本原理;
- 数据基础太差;
- 急于产出业绩;
- 缺少清晰目标;
人家根本就不会来!
于是就有了开头的画面。
2017年开始的一波人工智能热潮,吸引了大量新人涌入数据挖掘、算法领域;有相当多的人根本没有数据分析基础,读的是《西瓜书》+《统计学习方法》,做的是《泰坦尼克》《鸢尾花》《波士顿房价》,遇到问题就上模型,干就完了奥力给!
这种情况,自然是盲人骑瞎马,夜半临深池了。
六、问题的本质原因
问题的本质在于:数据建模,本质上对抗的是低效率;是帮助人们解决运算变量多过时,手工计算复杂,难以处理的问题。
这是一种计算方法,不是智慧高于常人的神秘力量,不是仙风鹤骨的世外高人;数据建模应用最好的领域,也不是诊断经营问题,而是图像识别、语音转化这些相对客观的领域。
而传统企业面临的问题,比如:
- 突发情况多:天气预报有雨,于是备货少了,结果突然没下,货不够卖;
- 目标不清晰:因为老板个人喜欢,所以上了某款商品,结果老板看走了眼;
- 业务能力差:预判不准,情绪化,收了客户、供应商回扣,应和老板态度想邀功。
这些乱七八糟的情况,更适合用数据分析方法来解决。
数据分析,本质上对抗的是不确定性;是通过认真的采集数据、梳理业务流程、诊断业务问题、进行数据测试;把主观臆断关进笼子里。把“我以为”换成“我确信”。
所以遭遇复杂的企业经营问题,最好的做法是认真做好数据采集、认真建立分析模型、一点点积累分析经验;而不是指望一只阿尔法大狗子汪汪一叫就拨云见日迎春归。
所以我们看到,只要把复杂场景梳理清楚,撇除乱七八糟的因素,模型是可以在一定程度上解决经营问题的。
然而遗憾的是,从朋友圈文章,到管理层的内心,到正在调参的小哥的键盘,所有声音都是:
- 算法又打败人类了!
- 算法比你自己更懂你自己!
- 算法实现了99%的超精准预测!
所以这种悲剧还会继续上演,而且随着2020年大量企业加速数字化,会上演更多,更惨烈;我们拭目以待哦。
最后,有同学说:陈老师你举的都是实体企业的例子,那互联网企业就是一片净土呀。
呵呵!别的不说,单说生鲜电商,疫情影响,大家都觉得生鲜电商有前途,于是一帮连饭都没有煮过、娃都没有生过的算法工程师们,正在努力研究“蔬菜精准推荐”“买菜智能预测”算法呢。
是滴!还是用熟悉的协同过滤,还是用熟悉的关联规则哦。
至于结果,我们找个机会再做吐槽,有兴趣的话,关注接地气的陈老师,下一篇我们分享一个详细建模过程,敬请期待哦。
#专栏作家#
接地气的陈老师,微信公众号:接地气学堂,人人都是产品经理专栏作家。资深咨询顾问,在互联网,金融,快消,零售,耐用,美容等15个行业有丰富数据相关经验。
本文原创发布于人人都是产品经理。未经许可,禁止转载
题图来自Unsplash,基于CC0协议。
说的有道理
之前主要做C端产品设计的,目前慢慢开始接触做CRM相关的工作,目前遇到关于CRM线索分配的问题,希望能优化目前的线索分配模型,之前没怎么接触共算法相关的产品设计,目前一头雾水,需要从哪些方面开始入手呢。谢谢
作者说的真心不错,我曾在一家小公司做算法实习,公司规模小而且没有任何算法相关经验导致数据质量差,反而大部分工作都是花在数据建设上了,那种一上来就能上算法的场景现实中真的太少见了