从零建立赋能业务的数据中心「逻辑框架」
转岗到业务公司新的数据团队,需要从零开始建立数据中心,时常让人无从下手。本文作者结合自身转岗经历,根据实践中的逻辑思路在文中详实举例,帮助数据分析师新人进一步学习数据库的应用,推荐迷茫中的数据分析师阅读学习~
数据中心整体的思路是基于现有的业务系统,接入数据后,将模型部署在前端,用于支持业务分析场景。
1. 项目目标
此次项目希望能与你分享一个可以赋能业务的数据中心是如何从零开始构思设计的,不过这并不是技术开发中数据仓库,而是定位在用于数据分析工作的数据库。
借此机会,也供刚接触SQL的朋友,有一个更贴近业务现实的实战案例。
2. 业务场景
为简化业务逻辑,此次案例是基于电商企业,涉及的业务部门有用户运营部门、及产品部门。
我经常说数据分析师的价值在于解决业务问题,那么此次的数据中心项目是在解决什么样的解决问题,以及是如何解决的?我们来按「以终为始」的思考逻辑来梳理一番。
一、从业务层面思考,需要解决哪些业务问题
数据分析师的价值在于赋能业务,所以「数据中心」建设的起点要从终点出发:业务需求。
1. 用户运营部门
随着电商市场的饱和,现在电商进入存量运营时期,要求品牌对存量用户进行精细化管理,并实现业务增长。因此用户运营部门的需求是用户价值的分层模型,可以帮助业务把精力集中在最高收益的人群。与用户运营部门沟通,明确建立RFM模型对人群进行分层,并形成不同人群的营销策略。
2. 产品部门
产品部门的职能大体能分为两个方面:一个是需要前瞻市场的产品开发,另一个是“确保子弹供及”的库存管理。与产品部门沟通后,明确需求是要做「新品分析」,根据新品的表现情况,调整生产及库存计划。简单点说就是表现好的新品,就多生产/进货,反之则清仓处理。
二、从数据层面思考,需要解决哪样的数据问题
到这一步,已经明确了业务需求,接下来要建立能支撑业务发展的数据中心。
按数据处理流程,可以把数据中心分为:落地层、建模层、及数据层
1. 落地层
离业务最近,是业务看得见摸得着的数据应用,比如在线BI系统,业务可以直接登录看到需要的报表;还可以是数据分析报告,业务从报告中获得直接的洞察分析及建议;还可以是专项的数据分析项目,把通过分析形成的策略方案在业务场景下执行,直接实现增长。也就是说,在这一层,需要考虑数据分析价值落地的具体形式。
2. 建模层
建模层和数据层都是业务部门不可感知的。建模层是支撑价值落地的数据模型,比如在线BI系统中的报表,背后复杂的表间关系,需要业务逻辑和表格模型支撑;数据分析报告背后的洞察分析,需要如帕累托分析、关联算法等数据模型支撑。
3. 数据层
到这一层,就需要关注最小颗粒度的数据,也就是数据库层面的表格与字段,它们是建模层具体操作的要素。通俗地说,需要从不同数据源中接入业务数据,并通过同步更新、数据清洗等过程确保数据的完整性及准确性。
三、如何把业务需求转为数据问题
了解完数据赋能的三个层次,回过头来看看如何把业务需求转为数据问题。
1. 用户运营
(1)落地层
业务部门都有KPI指标,在运营工作中,需要定期回顾运营成效及执行下一阶段的运营策略。对业务来说,运营策略的落地需要借助触达工具:发短信。因此,「RFM模型」的落地不能只是给出算法模型报告,而是要以报表的形式,对存量用户进行分群的同时,搭配策略分析工具,并提供用户信息下载
根据业务场景,确定可以通过PowerBI在线报表的形式,为用户运营部门提供在线人群分层报表,并交叉零售行业常用的「人货场模型」及「指标拆解」作为策略分析工具。
(2)建模层
明确了落地的形式后,需要对背后的「RFM模型」和「人货场模型」及「指标拆解」进行数据层面的定义。
- 对于「RFM模型」来说,需要明确分层逻辑,具体包括行为周期、R/F/M的阈值计算。
- 对于「人货场模型」来说,在RFM模型已解决「人」层面的分析,需要进一步补充:「货」通过「产品结构分析」解决,「场」通过「活动周期分析」解决。
- 对于「指标拆解」来说,因为最终是交付给用户运营部门,所以需要尽量从用户的角度来拆解销售额,比如销售额 = 新客销售 + 老客销售,这样就符合业务关注的新客指标及老客指标。
(3)数据层
明确了需要开发的数据模型,需要对更细颗粒度的数据库表格及字段进行设计。
- 模型围绕着用户订单数据进行,所以至少需要订单表,包括下单时间、购买商品、购买金额、商品件数等字段。
- 另外,落地层提到用户运营侧的落地需要结合触达工具,所以还需要用户表,提供会员昵称、手机号、地址等字段。
2. 产品部门
(1)落地层
对于企业来说,产品策略背后的影响因素多且复杂,比如市场培育、公司战略等。也就是说,对于数据部门来说,做的新品分析或许更多只是辅助工作,供产品部门参考新品表现。此外,与产品部门沟通业务流程时,他们还提及日常还会用数据部门提供的表格做二次分析。
根据此业务场景,确定可以通过Metabase平台的形式做在线报表,业务部门能在平台上下载数据的同时,也可以在线做透视分析。
此场景其实为了介绍Metabase平台设计的,该工具在解决业务们自助取数,及简单BI报表方面很实用。可以先通过官网了解:www.metabase.com。后面会有具体的教程出来。
(2)建模层
明确了以报表形式提供新品分析后,需要考虑新品分析背后的表格模型,可以结合「存销分析」来实现,即分析新品的销售与库存之前的相关指标,体现新品表现。
(3)数据层
销售及库存相关的指标分析,需要用到订单表、库存表,除了用户运营提及的订单字段外,还需要货品批次号、数量等库存字段。
至此,我们完成了从业务需求出发,到落地层、建模层及数据层的倒推,形成了数据赋能业务的整体框架:
(后续会丰富此框架)
四、从执行层面思考,把框架落地
接下来,需要逆着第二步的思考逻辑,形成执行计划。
1. 数据层
- 建立数据库模型:从业务模型、概念模型到物理模型。
- 新建数据库,并从数据源(业务系统)接入存量数据。
- 通过存储过程同步增量数据,实现数据动态更新。
- SQL SERVER代理完成定时任务:执行ETL、定期备份。
2. 建模层
- RFM模型在用户运营中的落地。
- 如何进行新品分析。
3. 落地层
- RFM模型在PowerBI的部署落地
- Metabase的安装及应用案例:存销分析
接下来会按照上述计划,逐步实现数据中心的落地。
本文由 @饼干哥哥 原创发布于人人都是产品经理。未经作者许可,禁止转载。
题图来自Unsplash,基于CC0协议。
- 目前还没评论,等你发挥!