不懂数据分析的算法工程师,会有多惨

3 评论 8835 浏览 15 收藏 14 分钟

编辑导语:算法工程师就是利用算法处理事物的人,输入相应的指令将会得到相应的输出;但是算法工程师的要求也非常高,在实体行业,他们还要会数据分析,才能在实体行业中计算出精准需求;本文作者分析了算法工程师的现状,我们一起来看一下。

“我们的算法工程师水平太差了,完全解决不了问题!”作为一个经常和传统企业打交道的乙方,这种抱怨我听得太多了,类似惨痛画面也见得太多了。今天我们系统说说。

模型厉害不厉害,厉害!你看阿尔法大狗子都把天才少年柯洁咬哭了,能不厉害吗。

于是,很多企业咬牙跺脚,出高薪,聘请来自互联网大厂的算法工程师、数据挖掘工程师、数据建模师,期望他能做出超厉害模型;“只要你能预测精准了,那我肯定能如鱼得水”是他们的口头禅。

又刚好,一批2017年左右混入所谓互联网大厂的算法工程师们,被裁员了,以为自己可以打着“前头腾阿高级算法工程师”旗号收割一波传统企业,从此乌鸡变凤凰,走上人生巅峰。

两者一拍即合。悲剧就从这里开始……

一、不考虑业务,背锅死

阵亡案例1:某传统企业,想建立产品推荐模型,精准匹配用户需求;结果才半年,招来的算法就被炒了——炒人理由:推荐不精准,反而干扰了正常销售。

甲方市场部的头头还不屑的说:阿里的推荐算法也不咋样啊。

仔细研究业务场景就发现:亲,不是阿里有问题,是你这公司不是阿里呀!阿里是平台方,在平台上有无数商品等着推。

但具体到你这个企业,就会发现:

  • 有的产品是安身立命的爆款,不推也好卖。
  • 有的产品是业务的心头肉,只要出一点问题,那就是千刀万剐。
  • 有的产品先天短腿,功能不行、定价不合理,根本干不过竞品,推荐算法有毛用。
  • 有些产品品质还行,只是在内部政治地位不高,拿不到资源,或者定价不合理,导致后天短腿。

上一任算法小哥哥,不考虑这些业务上明争暗斗,就直接上模型了;所有产品一锅炖了做推荐(还是用协同过滤,完全没考虑企业的用户粘性,用户行为数据量问题);结果,主打产品出现下滑情况,销售部、市场部联手,一起把锅往他身上甩。

结局,不但被赶走,而且搞得声名狼藉。

认真分析了这些背景以后,一个优化方案出炉(如下图):

不懂数据分析的算法工程师,混得有多惨!

先做好产品分析,选好后天短腿的小品类,找到背书的部门,这时候可以开干了;果然,第一波推广马上见效;于是甲方开开心心接手,自己回去优化迭代去了。

二、不细化场景,麻烦死

阵亡案例2:某连锁店,希望能建立模型,精准预测每个店铺的鱼蛋、肠粉、饭团、面包……具体到每一个SKU的销量,这样门店既不会因为积压浪费食材,又不会因为缺货错过销售;结果七个建模的小哥折腾了半年也不够精准,离职了4个,剩下仨垂头丧气。

到底如何100%精准呢!

认真思考这个问题场景,就会觉得很搞笑:真有100%精准预测鱼蛋香肠的本事,这七个小哥还打个屁工啊,直接去炒期货呀。

仔细研究以后发现:所谓的“缺货错过销售”,根本就是一句话空话;因为没有一个正式的缺货登记系统(很多企业有,但这家没有);但是积压导致的损耗率,却是结结实实的高。

于是,一个优化方案出炉(如下图):

不懂数据分析的算法工程师,混得有多惨!

这样运行了俩月,损耗率明显下降,实实在在地看到了成本的减少;同时,虽然也有人抱怨:“诶呀,有些店缺货了呀”。

可证据呢?证据呢?证据呢!没有数据,空口白话,说了鬼信!于是顺利扭转局面;也不出意外地,甲方自己接手继续优化了(是滴,甲方就是不喜欢签二期、三期,都以为自己能搞掂后边的,当然这是后话了,哈哈)。

三、不应对变化,含冤死

阵亡案例3:某大型渠道商,希望能建立模型,精准预测手机、平板销量,避免积压;先后换个5个做模型的,都不满意!业务给的反馈是:预测不够精准,导致决策失误。

仔细研究以后发现,问题根本不在预测上,而是业务方的反复横跳。

考核模型效果,看的是总销量,但总销量分配给每个渠道负责人后,总有人跳出来要求加量、减量;而且常常看头2周买的好,就拼命加,结果导致积压;看头2周差就都不想做,能甩就甩;最后整体数据偏差大,反而回头怪算法预测的不准。

知道这帮孙子的搞法,于是,一个优化方案出炉。

优化以后,效果立现:所谓的预测不准,90%是因为业务方自己不靠谱的谈判、预判、骚操作搞出来的;不但顺利脱身,而且也帮前边五个冤死鬼洗刷冤屈(如下图)。

不懂数据分析的算法工程师,混得有多惨!

四、数据质量差,着急死

阵亡案例4:某大型企业,想建立智能客服,高薪挖来一个小哥;结果来了才发现,不但原始数据混乱,因为客服培训做的太差,连最基础的分类标签:咨询、投诉、建议都是错乱一堆;结果嘛,自然是干了半年没成绩,黯然离开。

阵亡案例5:某大型企业,想建立“和抖音一样的内容推荐算法”,高薪挖来一小哥;结果来了才发现,内部根本没有内容分类标签,用户打的标签全是垃圾,90%都是空的……领导还说:“我都给了你那么多钱了,你咋不能干,为啥还要小妹来帮忙,你看人家抖音不都是算法工程师做的??”

是滴,越是迷信算法模型的,反而越不重视数据建设,都是一脸:“你都有算法了,你还要数据干啥,数据不是初等低级的吗???”

对了,应该有同学注意到,这些完蛋的周期都是半年,为啥?是因为很多算法岗位,在互联网公司就是吉祥物,为了能证明公司走在“人工智能大路上”,维持股价;所以在互联网公司的考核是远没有实体企业严格的;在实体企业半年不出业绩,不离开还怎样。

五、问题的表面原因

以上场景,如果换一个2010年左右入行的数据挖掘工程师,完全不会存在。

因为那个年代的数据挖掘工程师大部分做的是电信、银行的项目,对于数据分析方法掌握非常扎实,对于数据模型的生效场景非常谨慎;然而,一来,这些人不是轻易请的动的,二来,人家懂行。

一看你这企业:

  • 领导期望过高;
  • 业务相互甩锅;
  • 不懂基本原理;
  • 数据基础太差;
  • 急于产出业绩;
  • 缺少清晰目标;

人家根本就不会来!

于是就有了开头的画面。

2017年开始的一波人工智能热潮,吸引了大量新人涌入数据挖掘、算法领域;有相当多的人根本没有数据分析基础,读的是《西瓜书》+《统计学习方法》,做的是《泰坦尼克》《鸢尾花》《波士顿房价》,遇到问题就上模型,干就完了奥力给!

这种情况,自然是盲人骑瞎马,夜半临深池了。

六、问题的本质原因

问题的本质在于:数据建模,本质上对抗的是低效率;是帮助人们解决运算变量多过时,手工计算复杂,难以处理的问题。

这是一种计算方法,不是智慧高于常人的神秘力量,不是仙风鹤骨的世外高人;数据建模应用最好的领域,也不是诊断经营问题,而是图像识别、语音转化这些相对客观的领域。

而传统企业面临的问题,比如:

  • 突发情况多:天气预报有雨,于是备货少了,结果突然没下,货不够卖;
  • 目标不清晰:因为老板个人喜欢,所以上了某款商品,结果老板看走了眼;
  • 业务能力差:预判不准,情绪化,收了客户、供应商回扣,应和老板态度想邀功。

这些乱七八糟的情况,更适合用数据分析方法来解决。

数据分析,本质上对抗的是不确定性;是通过认真的采集数据、梳理业务流程、诊断业务问题、进行数据测试;把主观臆断关进笼子里。把“我以为”换成“我确信”。

所以遭遇复杂的企业经营问题,最好的做法是认真做好数据采集、认真建立分析模型、一点点积累分析经验;而不是指望一只阿尔法大狗子汪汪一叫就拨云见日迎春归。

所以我们看到,只要把复杂场景梳理清楚,撇除乱七八糟的因素,模型是可以在一定程度上解决经营问题的。

然而遗憾的是,从朋友圈文章,到管理层的内心,到正在调参的小哥的键盘,所有声音都是:

  • 算法又打败人类了!
  • 算法比你自己更懂你自己!
  • 算法实现了99%的超精准预测!

所以这种悲剧还会继续上演,而且随着2020年大量企业加速数字化,会上演更多,更惨烈;我们拭目以待哦。

最后,有同学说:陈老师你举的都是实体企业的例子,那互联网企业就是一片净土呀。

呵呵!别的不说,单说生鲜电商,疫情影响,大家都觉得生鲜电商有前途,于是一帮连饭都没有煮过、娃都没有生过的算法工程师们,正在努力研究“蔬菜精准推荐”“买菜智能预测”算法呢。

是滴!还是用熟悉的协同过滤,还是用熟悉的关联规则哦。

至于结果,我们找个机会再做吐槽,有兴趣的话,关注接地气的陈老师,下一篇我们分享一个详细建模过程,敬请期待哦。

#专栏作家#

接地气的陈老师,微信公众号:接地气学堂,人人都是产品经理专栏作家。资深咨询顾问,在互联网,金融,快消,零售,耐用,美容等15个行业有丰富数据相关经验。

本文原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 说的有道理

    来自北京 回复
  2. 之前主要做C端产品设计的,目前慢慢开始接触做CRM相关的工作,目前遇到关于CRM线索分配的问题,希望能优化目前的线索分配模型,之前没怎么接触共算法相关的产品设计,目前一头雾水,需要从哪些方面开始入手呢。谢谢

    来自北京 回复
  3. 作者说的真心不错,我曾在一家小公司做算法实习,公司规模小而且没有任何算法相关经验导致数据质量差,反而大部分工作都是花在数据建设上了,那种一上来就能上算法的场景现实中真的太少见了

    来自上海 回复