10分钟,讲通透银行数据治理该怎么做
数据治理是银行数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路,最大化保障银行数据的采集、存储、计算和使用过程的可控和可追溯。本篇文章,作者介绍了银行数据治理该如何去做,包括数据治理有哪些环节,又有哪些误区,一起来看看吧,希望能够给你带来帮助。
数据治理的目的是什么?数据治理的最终目标是提升数据的价值。
数据治理是一个从上到下的工作,资源的调动,制度的设计、执行、监督,最终都要落实在人上,只有获得组织内部全链条的支持,最终才能取得成效。
一、为什么说数据治理是脏活累活呢?
数据的收集、治理和管理是个长期的活,需要的资源多,项目周期长,不懂的领导不太明白这块工作的价值和工作量。
数据治理长期且繁杂,而且大多数时候很难看到立竿见影的效果,很多坑容易踩到,一不小心就以失败告终,所以经常被吐槽为“脏活累活”。
吐槽归吐槽,但数据治理的重要性也不可否认。做数据治理很难,但对于一些正在数字化转型道路上迈步前行的银行来说,这又是一件关系到发展战略的不得不做的基础工程,银行早在10年前已经开始进行数据治理,只是大家的治理的水平和阶段不一致而已。
1.源数据
烟囱式开发:业务繁多、数据库多而乱,系统与系统之间错综复杂
数据库种类:架构经历多次变迁,切换不完全,需要从Mysql、oracle、hbase甚至excle表中跨库、跨实例、跨种类才能获得有效业务数据
数据结构混乱:同一字段,类型、命名都不一致
文档缺失:无数据库文档或文档陈旧
2.变迁
系统版本升级:每一次升级都只是掩盖之前的错误,数据治理需要从源头
人员变更:梳理过程中的大部分问题最终答案:“不清楚,原来维护人已离职”
数据流转:数据从源头经过很多次不规范的同步
3.存量
各自为政:各业务部门已有自己的统计逻辑和报表,同一指标汇总维度又不一致,梳理、治理、输出还要尽量不影响已有报表结果
半途而废:前任都知道数据治理、统一出口的重要性,但只完成一部分就放弃了。问题在于“完成的一部分”有人还在用。
二、数据治理闭环
1、组织固定的数据治理团队
行里分管的领导需要组建一支对数据治理有足够认识、有治理经验、熟悉业务的团队,给予团队有相对的资源和足够权限,得到各部门的全力配合和支持。
2、清楚行内数据质量和任务
行内的数据采集情况、数据存储情况,数据从分散的系统集中到数据仓库。评估当前数据质量,保证数据完整性、准确性、及时性、一致性、唯一性,明确数据治理的任务和阶段目标。
3、规范治理流程和建立制度
数据治理团队可以选择从业务流程,也就是数据产生的源头开始,对其进行规范化、流程化、标准化处理,并建立相关业务规则文档,保证业务部门能够在人员流动中保持数据治理意识。
4、确认业务指标,划分数据层级
在数据治理工作中,对数据进行指标、标签分类非常重要,数据治理团队自己要熟悉业务和各个系统,与业务部门充分沟通,并要求合作为业务数据建立对应的指标体系,划分核心数据指标,进行分类分级。
5、建立平台,自动化处理机制
治理过程中需要建立自动化治理平台,让业务数据能够自动传输到对应数据仓库中。
6、关注异常数据,完善业务系统
数据治理团队建立监控预警机制,分析数据质量和异常数据,协调技术人员完善业务系统。
7、完善业务数据闭环
数据治理团队可以对整个数据治理周期流程进行整合,形成一套完整的“业务-数据-处理-存储-调取-利用-分析-可视化-预警-决策-业务”闭环流程,让数据在过程中不断优化,持续提高数据质量。
三、数据治理体系
银行数据治理体系包括数据质量管理、元数据管理、主数据管理、数据资产管理、数据安全及数据标准等内容。
1、数据质量
一般采用常用的标准来衡量数据质量的好坏:完整性、准确性、一致性和及时性。
完整性:数据的记录和信息是否完整,是否存在缺失情况。
准确性:数据汇总记录的信息和数据是否准确,是否存在异常或者错误。
一致性:多个业务数仓间的公共数据,必须在各个数据仓库中保持一致。
及时性:数据能及时产生和预警。
2、元数据管理
元数据是关于数据的组织、数据域及其关系的信息,通俗理解,元数据就是描述数据的数据。
元数据包含技术元数据和业务元数据,让数据分析人员对银行的数据情况一目了然,数据存储在哪里,如何抽取、清理、维护这些数据,血缘关系怎么样。
元数据确立数据业务含义可解释性。
提升数据整合和溯源能力,血缘关系可维护性。
建立数据质量稽核体系,分类管理监控。
3、主数据管理
银行的数据分为三部分:主数据、交易数据、指标数据。其中,主数据和交易数据合称为基础数据。主数据指银行内一致并共享的业务主体,常见的主数据比如银行的员工、客户数据、渠道数据、产品数据。
主数据还包括一些关系数据,它们描述了主数据之间的关系,比如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。
4、数据资产管理
数据资产管理主要关心数据有没有被合理利用?如何产生最大价值?这些都是数据资产管理关心的核心工作,数据资产从业务角度和技术角度进行合并,输出统一的数据资产分析,向外提供统一的数据资产服务。
如何盘活数据,形成数据资产,提供完整的数据资产全景视图,让数据管理部门和业务部门全局、宏观地掌控银行资产动态。
5、数据安全
数据安全是银行数据建设必不可少的一环,我们的数据都存储在服务器中,需要对数据进行核查、敏感字段加密、访问权限控制,确保数据能够被安全地使用。
6、数据标准
数据要有统一的标准,保障数据内外部使用和交换的一致性和准确性的规范性约束,通过统一规范,消除二义性。
定制统一的数据标准平台,包括字段标准管理,码值标准管理以及字典管理,业务源数据和中台数据统一标准。
四、数据治理的几点误区
1、数据治理是否要做得大而全
不同阶段和规模的银行,数据治理的实施程度会有所不同,一般建设先根据自身的数据状况分阶段进行,避免盲目铺开规模,过程中可调整。
2、数据治理是技术部门的事吗
数据治理不仅仅是技术团队的事,而银行各部门一起协作完成,包括各业务线以及其它网点和营销点。
3、数据治理不是短期的项目
数据治理是个长期过程,随着业务发展和银行规模增长,业务系统的不断的迭代,数据治理是一个长期而持续的项目。
4、一定需要建设平台吗
前期平台不是必须的,首先要有成熟的数据治理体系和策略,自建平台和采购平台都可以,先把体系建设好。
5、数据质量问题各类原因
有业务方面的数据定义不明确,也有技术方面的数据抽取不完整。
有管理方面的岗位职责不清晰,也有执行层面的数据操作不规范。
有数据处理加工过程中出现了错误,也有数据源本身就有问题。
有数据治理系统功能有缺陷,也有系统强大但是没人用……
五、小结
数据治理是银行数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路,最大化保障银行数据的采集、存储、计算和使用过程的可控和可追溯。
数据治理是几乎需要所有部门参与和支持的项目,进行长期且持续的坚持才能实现成功的系统项目。
数据治理的最终目标是赋能业务,提升数据价值。这是一个持续漫长的运营过程,需要逐步完善、分步迭代,指望一步到位完成数据治理是不现实的。
项目型的数据治理,是不全面的,无延续性,能够解决一时的数据问题,但很难获得持续的数据价值。
专栏作家
汤向军,公众号:营销数字化转型(ID:Fi-Digital),人人都是产品经理专栏作家。专注于银行数字化转型。
本文原创发布于人人都是产品经理。未经许可,禁止转载
题图来自 Unsplash,基于 CC0 协议
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务
- 目前还没评论,等你发挥!