如何构建企业级数据治理体系?

7 评论 6497 浏览 63 收藏 8 分钟

编辑导读:数据治理是指企业的数据架构、数据标准、数据质量、数据安全等领域的建设和管理的全流程。作为一个数据工作者,无论公司数据体量大或小,都应该具备数据治理的能力。本文从自身经验出发,分析如何构建企业级数据治理体系,希望对你有帮助。

通常我在做数据架构的时候,都会在旁边加一个“数据治理”。但是吧,大多数时候都只是写写而已。因为这个数据治理太费劲了,短期内吃力不讨好,长期才能见效,但是又不足为外人道也。就像是好媳妇把家里拾掇的干干净净利利索索的,外人看来,最多夸一句“家里真干净”,却不会说你这是大才。

上图是数据架构示例,数据治理是其中非常重要的一部分。它的意义决定了上层应用的可用性,甚至决定了项目的成败。很多数据项目建完之后,老板都有一个非常显著的感觉:花几十万建的系统,还没有秘书好用。这是为啥呢?

一、“数据治理”到底有什么用?

一句话解释:“数据治理”往大了说,是进行企业的数据架构、数据标准、数据质量、数据安全等领域的建设和管理的全流程;往小了说,是在数据管理和使用层面之上进行规划、监督和控制。

嗯,你理解的没错,通常在数据体量较大的公司,数据治理才会被提上桌面。但是作为一个数据工作者,我认为无论你有多少数据–哪怕只是记手账–都需要进行数据治理。一个追求完美的数据工作者,应该要有数据洁癖。

二、“数据治理”应该做什么?

其实绝大多数事情,早已经有无数人在研究,也有很多的研究成果。稍微收集一下就会有很多很多的资料。

目前国内外数据治理的理论及规范:

国外:

  • CWM 1.1
  • MOF
  • DAMA- DMBok
  • DMM

国内:

  • DMCM
  • DCMM

在数据质量国家标准《GB/T 36073-2018》数据管理能力成熟度评估模型中定义,应该从数据战略、数据治理、数据架构、数据标准、数据生命周期、数据应用、数据质量、数据安全等八大方面进行评估。

在《DAMA-DMBOK职能框架》中,定义了10个主要的数据管理职能:

这两张图可以贴到你的ppt里面去,让你的领导看看数据治理是一个多么庞大的体系。

三、“数据治理”应该怎么做?

偷偷告诉你一个小技巧,有一个大帽子盖在前面,就方便咱做事,这招屡试不灵。

前面两张图,给你提供了一个巨大的帽子,但是怎么落实呢?这就可大可小,随心控制了。

我再给你扔一张图:

如果,你的公司啥都没有,就几个数据工程师。老板说要建数据中台,那么你有两种选择:离职;坚持,一定要坚持,坚持看完整个项目的失败,这样你就能经历一个完整的失败案例。

扯回来。如果公司要让你做数据治理、数据管理、数据战略等事情,你就照着上面的表格去写就好了。

第一阶段:其实就是各种规划

  • 首要的事情肯定是组织保障,啥话不说,先招几十号人来,人越多,你的位置越稳(来自于互联网摸鱼大法,笑^_^);
  • 然后是各种流程、标准、制度建设,数据安全管理制度、数据处理流程、数据提取流程、元数据标准、主数据标准等。
  • 还有各种摸底,数据资源梳理、数据需求梳理等等。

第二阶段:其实就是各种建设

  • 根据元数据标准、主数据标准,建设元数据、主数据
  • 根据数据处理流程、数据提取流程、数据需求梳理结果,建设各种固定报表、即席查询等内容
  • 根据数据资源梳理结果,进行数仓的规划和建设

第三阶段:其实就是上各种平台

  • 建设数据地图、血缘分析、数据资产目录等,将数据资产化
  • 进行数据开放,进行各种AI探索
  • 其实上面的建完了,基本上能打通的也都打通了,能统一的也都统一了,再加上一些统一管控的服务,数据中台也就差不多顺理成章,做好了

四、数据治理能不能一步到位?

看你是从哪一步开始走了。

如果你公司有成建制的数据团队,早就已经拉平认知、统一定义,流程规范,制度严谨,技术先进,投入有保障,那没问题,只要稍微组织一下相关知识的学习,做个半年规划,投入人力物力,肯定一步到位。

如果你公司就3、5个数据工程师,那么你有两个选择,离职;坚持看完整个项目的失败。对了,上面好像讲过了。

你问我为啥这么肯定?因为我经历过~~

地基不稳,无异于泥塘之中起高楼,能做起来简直是奇迹!

五、数据治理全景图

好了,最后放一张数据治理全景图,镇楼!

转发,点赞,在看,安排一下?

 

作者:大数据架构师,国药国华大数据总监,擅长BI、数仓、数据中台产品规划领域,公众号:大数据架构师

本文由 @大数据架构师 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于 CC0 协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 你好,我们这有个数据治理规划需求,看看如何合作,13529260708.

    来自云南 回复
  2. 老师好,有个我遇到的问题想请教下:
    现发现负责的业务系统数据准确性不高,无法支持用户日常分析和领导管理决策,因此用户也想着要做出改变,做所谓的数据治理,提升数据准确性。按您的框架,是否适用于我们这种场景和诉求呢,谢谢

    来自广东 回复
    1. DAMA的框架是一个通用的框架。传统企业和互联网企业都在参考这个体系。
      不过您这个描述有些奇怪,业务系统数据准确性不高,这不应该吧?毕竟业务系统的基本要求就是记录真实的业务情况啊!好比你去某宝买个东西,你的订单必须是准确的啊!

      来自北京 回复
    2. 供应商以某种方式拿到零售门店的销售数据。这个过程,零售门店给的数据会存在数据质量很差的情况。

      来自山东 回复
  3. 只有4个java后端和2个前端,没有数据工程师,咋搞?

    来自河南 回复
    1. 具体的数据治理工作不是开发的事情。
      我理解你说的是数据治理产品自研的工作吧?如果是,那么只要有数据产品经理给你规划数据治理产品需求,你们按需求开发各种产品就好了。这跟数据治理本身就没关系了。

      来自北京 回复
    2. 和楼主同样情况,而我是那个产品经理(并不懂数据),咋切入?

      来自广东 回复