服务开发篇 | 面向OLAP的数据指标使用
在大数据和数字化转型的背景下,OLAP(在线分析处理)系统在企业中扮演着越来越关键的角色。本文深入探讨了面向OLAP的数据指标使用,分析了其与建模场景下数据指标的区别,并讨论了这种新型数据指标系统对现有开发流程的颠覆性影响。
建模场景下的数据指标在数据管理篇【数据规划可行吗】中介绍过了,这里讲下OLAP场景下的数据指标。
一、两者的区别
这里在OLAP场景下的数据指标,和建模场景下的数据指标最大区别就是,这里数据指标类似于已经和数据相结合了,不单单是一个指标口径。
在建模场景下的数据指标,原始的方式可以使用一个Excel表格,通过表格来统计、整理一些数据指标的字段。在OLAP场景下的数据指标,或者说数据指标系统,已经和底层的存储相绑定了,已经具备了一定的物理属性,而不仅仅像建模场景下的数据指标,仅仅是一个逻辑概念。
通常,这种OLAP的数据指标是领导重点关心的,就会在数据仓库之上增加这么一层。而需要特别注意的一点,就是如果将所有指标都添加到面向OLAP的数据指标中,其实是对现有的整体开发模式的完全颠覆。
二、为什么说面向OLAP的数据指标系统是现有开发流程的一个颠覆
首先,我们先概略的看下现在的开发流程是什么样的,仅展示BI报表部分。
【业务系统数据】—{导入}—【数据湖/数据仓库】—{加工/清洗}—【数据仓库】—{导入}—【OLAP引擎(MySQL或者HOLO等)】—{授权}—【BI系统展示】
那有了面向OLAP的数据指标系统,我们会替换哪些部分那。个人认为—{加工/清洗}—【数据仓库】—{导入}—【OLAP引擎(MySQL或者HOLO等)】—{授权}—。这一部分都会被替换掉,其中又分为三个环节。
环节一:当有了面向OLAP的指标系统后,预期的效果是对基础指标统一口径,在指标系统生成之后,业务用户能够使用基础指标自己进行逻辑加工,生成符合指标了,所以—{加工/清洗}—【数据仓库】这一部分会被替换掉。
环节二:当新生成的复合指标天然在面向OLAP的指标系统中时,就不需要将原来数仓中生成的指标再导入到OLAP类型的引擎中,所以—{导入}—【OLAP引擎(MySQL或者HOLO等)】这一部分会被替换掉。
环节三:当不导入传统的OLAP计算引擎,要使用面向OLAP数据指标系统时,对BI的授权就需要调整。这是第三部分被替换掉。
所以,如果是一个全新的数据指标系统的话,和现在的数据加工流程方式,个人认为是颠覆性的调整。
三、这种颠覆的开发形式是否能够落地
这种面向OLAP的数据指标系统,其实是在数据仓库和上层应用之间,增加了新的一层,相当于重构了整个链路。
就拿最普遍的 BI 报表系统来说,指标平台开发的指标如何去 BI 中使用,很多厂商说我们的指标平台支持开发指标API 服务,通过 API 对接 BI 系统。
一个指标一个 API?还是一批指标一个 API?
此外,要知道目前多数 BI 平台,都是基于数据集进行图表和报表开发的,指标和数据集如何融合? 另外一个,就是权限问题,指标平台自身有账号和权限管控体系,BI 系统也有自己的账号和权限体系,如何确保数据安全管控?
如果企业有实力提供端到端的数据工具,从数据上报、数据中台、指标平台、BI 可视化等工具都是自家的,也不是不行,总是有办法兼容和整合指标和数据集的。
但还是需要抛弃现在的整个链路,是不是有这个勇气?以及能够带来多少好处?也都决定是否能够落地。
四、一种不一定对的想法
虽然,上面说这种指标系统是一个颠覆性的过程,但是个人想有一个比较折中的方案。就是将主要的指标数据,在加工好之后同步到一个OLAP系统中,成为公司级别的统一指标库。所有,相近的指标都已这个系统内的为准。仅仅是一个想法。不知道是不是合适。
五、总结
大数据领域各种概念横行,因为是一个实践的学科。大家也都不追求同一个概念的统一。所以,在一些概念理解上会出现不一致的情况。还是一直说的,需要个人或者一个组织内,能够对一些概念达成统一。
本文由人人都是产品经理作者【数据小吏】,微信公众号:【数据小吏】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于 CC0 协议。
这种方案可能更适合那些希望逐步过渡到更先进数据分析系统的企业。最终,是否采纳这种方案,需要根据企业的具体情况和需求来决定。