如何构建企业级数据治理体系?
编辑导读:数据治理是指企业的数据架构、数据标准、数据质量、数据安全等领域的建设和管理的全流程。作为一个数据工作者,无论公司数据体量大或小,都应该具备数据治理的能力。本文从自身经验出发,分析如何构建企业级数据治理体系,希望对你有帮助。
通常我在做数据架构的时候,都会在旁边加一个“数据治理”。但是吧,大多数时候都只是写写而已。因为这个数据治理太费劲了,短期内吃力不讨好,长期才能见效,但是又不足为外人道也。就像是好媳妇把家里拾掇的干干净净利利索索的,外人看来,最多夸一句“家里真干净”,却不会说你这是大才。
上图是数据架构示例,数据治理是其中非常重要的一部分。它的意义决定了上层应用的可用性,甚至决定了项目的成败。很多数据项目建完之后,老板都有一个非常显著的感觉:花几十万建的系统,还没有秘书好用。这是为啥呢?
一、“数据治理”到底有什么用?
一句话解释:“数据治理”往大了说,是进行企业的数据架构、数据标准、数据质量、数据安全等领域的建设和管理的全流程;往小了说,是在数据管理和使用层面之上进行规划、监督和控制。
嗯,你理解的没错,通常在数据体量较大的公司,数据治理才会被提上桌面。但是作为一个数据工作者,我认为无论你有多少数据–哪怕只是记手账–都需要进行数据治理。一个追求完美的数据工作者,应该要有数据洁癖。
二、“数据治理”应该做什么?
其实绝大多数事情,早已经有无数人在研究,也有很多的研究成果。稍微收集一下就会有很多很多的资料。
目前国内外数据治理的理论及规范:
国外:
- CWM 1.1
- MOF
- DAMA- DMBok
- DMM
国内:
- DMCM
- DCMM
在数据质量国家标准《GB/T 36073-2018》数据管理能力成熟度评估模型中定义,应该从数据战略、数据治理、数据架构、数据标准、数据生命周期、数据应用、数据质量、数据安全等八大方面进行评估。
在《DAMA-DMBOK职能框架》中,定义了10个主要的数据管理职能:
这两张图可以贴到你的ppt里面去,让你的领导看看数据治理是一个多么庞大的体系。
三、“数据治理”应该怎么做?
偷偷告诉你一个小技巧,有一个大帽子盖在前面,就方便咱做事,这招屡试不灵。
前面两张图,给你提供了一个巨大的帽子,但是怎么落实呢?这就可大可小,随心控制了。
我再给你扔一张图:
如果,你的公司啥都没有,就几个数据工程师。老板说要建数据中台,那么你有两种选择:离职;坚持,一定要坚持,坚持看完整个项目的失败,这样你就能经历一个完整的失败案例。
扯回来。如果公司要让你做数据治理、数据管理、数据战略等事情,你就照着上面的表格去写就好了。
第一阶段:其实就是各种规划
- 首要的事情肯定是组织保障,啥话不说,先招几十号人来,人越多,你的位置越稳(来自于互联网摸鱼大法,笑^_^);
- 然后是各种流程、标准、制度建设,数据安全管理制度、数据处理流程、数据提取流程、元数据标准、主数据标准等。
- 还有各种摸底,数据资源梳理、数据需求梳理等等。
第二阶段:其实就是各种建设
- 根据元数据标准、主数据标准,建设元数据、主数据
- 根据数据处理流程、数据提取流程、数据需求梳理结果,建设各种固定报表、即席查询等内容
- 根据数据资源梳理结果,进行数仓的规划和建设
第三阶段:其实就是上各种平台
- 建设数据地图、血缘分析、数据资产目录等,将数据资产化
- 进行数据开放,进行各种AI探索
- 其实上面的建完了,基本上能打通的也都打通了,能统一的也都统一了,再加上一些统一管控的服务,数据中台也就差不多顺理成章,做好了
四、数据治理能不能一步到位?
看你是从哪一步开始走了。
如果你公司有成建制的数据团队,早就已经拉平认知、统一定义,流程规范,制度严谨,技术先进,投入有保障,那没问题,只要稍微组织一下相关知识的学习,做个半年规划,投入人力物力,肯定一步到位。
如果你公司就3、5个数据工程师,那么你有两个选择,离职;坚持看完整个项目的失败。对了,上面好像讲过了。
你问我为啥这么肯定?因为我经历过~~
地基不稳,无异于泥塘之中起高楼,能做起来简直是奇迹!
五、数据治理全景图
好了,最后放一张数据治理全景图,镇楼!
转发,点赞,在看,安排一下?
作者:大数据架构师,国药国华大数据总监,擅长BI、数仓、数据中台产品规划领域,公众号:大数据架构师
本文由 @大数据架构师 原创发布于人人都是产品经理。未经许可,禁止转载
题图来自Unsplash,基于 CC0 协议
你好,我们这有个数据治理规划需求,看看如何合作,13529260708.
老师好,有个我遇到的问题想请教下:
现发现负责的业务系统数据准确性不高,无法支持用户日常分析和领导管理决策,因此用户也想着要做出改变,做所谓的数据治理,提升数据准确性。按您的框架,是否适用于我们这种场景和诉求呢,谢谢
DAMA的框架是一个通用的框架。传统企业和互联网企业都在参考这个体系。
不过您这个描述有些奇怪,业务系统数据准确性不高,这不应该吧?毕竟业务系统的基本要求就是记录真实的业务情况啊!好比你去某宝买个东西,你的订单必须是准确的啊!
供应商以某种方式拿到零售门店的销售数据。这个过程,零售门店给的数据会存在数据质量很差的情况。
只有4个java后端和2个前端,没有数据工程师,咋搞?
具体的数据治理工作不是开发的事情。
我理解你说的是数据治理产品自研的工作吧?如果是,那么只要有数据产品经理给你规划数据治理产品需求,你们按需求开发各种产品就好了。这跟数据治理本身就没关系了。
和楼主同样情况,而我是那个产品经理(并不懂数据),咋切入?