一文讲透:数据供应链管理
数据对于企业未来发展起着越来越重要的作用,但是,不少企业却还是不懂得去管理数据。或许,企业们可以考虑如何做好数据供应链管理。这篇文章里,作者就围绕数据供应链管理做了梳理和解读,一起来看。
本文介绍一种数据供应链的数据管理思维,围绕什么是数据供应链,如何做数据供应链管理,为什么要做数据供应链管理展开,我们企业的数据是否可以按照这样一种方式去管理呢。
一、什么是数据供应链
说起供应链大家都不陌生,供应链这概念之大几乎涵盖了我们生活的方方面面,平时用的日常生活物品,数码家电都无法逃离这个范畴。但要真正问起什么是供应链,你竟不知从何说起。
通俗点来说供应链管理是由一连串供应商和采购商组成的团队,以接力赛团队的模式,完成从采购原材料,到制成中间产品及至最终产品,然后将产品交付用户使用的过程。
说专业点是这样的,供应链管理是以同步化、集成化生产计划为指导,以各种技术为支持,以互联网为依托,围绕供应、生产、物流(主要指制造过程)、满足需求来实施的管理过程。
供应链的管理对于生产制造业的重要性毋庸置疑,比如当下的全球芯片紧缺,就是因被美国控制了全球最领先的芯片供应链市场,不允许芯片产商高通、台积电、Intel等供货给华为,导致华为手机产能严重受挫。
当下的生产制造企业供应链的例子数不甚数,再比如我们以房地产为例:企业从政府获取土地,由设计部门进行进行规划方案设计,并由运营工程制定生产计划(包括开工、竣工、开售、验收、交付),控制生产计划;成本制定项目成本,并在动态过程中监控动态成本变化,控制生产过程的发生的成本,营销做销售前、销售中、售后的对接,并实时反馈销售收入情况,指引生产部门生产进度,最终在供与销方面实现平衡获取企业最佳利润。
这也和传统生产制造企业一样,从原材料收购、运输、生产、加工、成品、销售过程,就是通过不同的工序和步骤,达成最优路径,实现最优产出,这就是供应链管理的本质思想。
2019年,第二届中国国际智能产业博览会上正式发布的《政府数据供应链白皮书》中首次提出“数据供应链”一词迅速火热起来。
2021年世界互联网大会“互联网之光”博览会上正式发布了《数据供应链白皮书2021》正式明确了数据供应链的管理指引,数据供应链通过制定统一数据标准、管理统一数据质量,保障统一数据安全,将数据供应给需求部门进行应用,实现数据资产化、服务化、价值化,该书已经被企事业单位广泛应用。
百度提供的数据供应链是这样描述的,以数据管理部门为主体,通过制定统一数据标准、管理统一数据质量、保障数据全生命周期安全,从对供应部门数据的归集开始,到数据的存储、治理、共享交换、挖掘计算、开放,最后把数据供应到需求部门进行数据应用,将数据生产方、数据采集方、数据治理方、数据运营方、数据平台方、数据开发方、数据消费方等连成一个整体的功能网链结构,以实现数据资源的资产化、数据资产的服务化、数据服务的价值化。
二、数据供应链怎么管理数据
数据供应链,其实就是企业的数据管理借鉴供应链管理方式,将数据当做产品,通过采集/生产、加工、传输、消费、销毁或失效等过程,如果将我们的数据管理过程当作产品生产链路一样去讨论的话,是不是和我们生产供应链很一致呢,我们按照标准化的供应链管理是否能更好的管理好我们的数据呢?
接下来我们逐一分析数据在链路环节中的核心阶段或环节中我们该重点关注哪些内容,该如何做。
主要的五个核心环节包括数据生产(采集)、数据加工、数据传输、数据消费(应用)、数据失效(冻结):
1)数据生产:数据的生产是指数据从无到有的过程,数据不会无缘无故的产生,所有的数据均是基于线下的一些活动发生后的记录。所以该阶段我们重点考虑数据是如何产生的,由谁在基于什么样的动作之下产生。
企业数据生产或采集一般有为两种方式,第一种数据的生产方即数据创造者,一般指的是数据生产部门或者数据生产岗位。这个数据生产方主要也是线下担任管理该部分业务管理方,对数据如何生产,数据何时该生产,数据应该按照什么标准规范生产有绝对规范和要求;也有些公司可能是某个岗位去创建,如数据系统管理员,需要将线下业务环节沟通好的数据按标准要录入系统,这都是属于企业内部的数据生产。
另外一种数据数据自动采集,这些数据是用户在日常操作中,系统自动记录采集生产的数据,这里面有人员特征数据、用户浏览数据、用户交易数据等,这些机器自动读取采集的数据,需要提前预设采集数据的规范标准要求,在一定场景下实现数据生产和采集。
这种方式是将原来需要人工录入的动作变成了自动化,毕竟是机器操作,所以这种方式对业务场景的标准规范性要求要高一些,如快递行业扫描二维码进出货、发票自动扫描等。数据生产阶段阶段数据管理需要明确数据的录入者,录入时点及数据生产依赖的业务流程和标准。
2)数据加工:数据生产出来的数据一般属于基础数据或称元数据,数据加工我们分两种情况,一种属于基础数据加工,针对企业共享统一的数据,有一定的强标准规则,在生产系统采集后做一定的数据加工。一般这些加工后的数据都是比较稳定,加工规则统一清晰,加工完再传输至消费系统或目标系统。
第二种,属于消费系统接收到数据后的加工,比如,我们的客户系统,每天有客户都有登录,这样持续一个月或一年,然后分析用户有效UV时,我们就需要对数据进行加工了;比如根据客户访问次数,访问Id计算客户深度等,需要经过一些数据复杂的计算规则,形成这样的数据指标就具有了分析价值。
数据的加工过程和方式都非常多,而且很常见。有兴趣的同学可以看看DAMA知识体系中的数据仓库和商务智能章节的内容。
3)数据传输:数据传输指的是数据生产好之后,从生产方(生产系统)需要通过一定的路径传输至数据使用方(数据消费系统)。这和我们物流中采用公路、海航、空运运送物资的方式类似。
常用系统交互方式有:API、数据文件、共享数据库、web传输等。数据及消息回传方式有同步传输和异步传输。
数据传输过程要考虑的是数据传输的及时性和有效性,如数据传输的频率分为实时传输,按天传输或按月度等,具体要依赖于业务场景需求,对数据较大及时性要求不高的我们一般采用按天更新的方式,这样可以极大减少服务器压力,同时数据更新也主要新增量来做更新和传输的。
数据的传输过程需要关注的点为,数据传输及时性,数据传输的日志管理,数据传输稳定性,这部分更多是技术实现层面内容,在此不做过多赘述。
4)数据消费:数据消费即为数据使用、数据应用,针对接收到的数据进行加载,目前很多数据商务智能管理平台就是数据使用方。数据消费要考虑保密性,安全性、适用性。
同时数据的标准都是建立在使用方的需求上的,所以数据消费方或者称为数据需求方是对数据质量有严格监督权的,数据不合格应该及早提出,反馈至数据录入方,可以及早处理,可以有效提升数据质量,以用促通就是这个道理。
数据消费中也严肃考虑数据的保密性和安全性。一般企业数据保密级别分为四个级别:
- 一级数据:完全公开数据,可直接对内外公布的数据,如企业已正式公开发布的年报、披露等。
- 二级数据:内部数据,主要是内部使用的业务数据,支撑业务系统的运行,不可直接对外公开。通过统计、分析和加工这些数据能获得公司的重要信息、客户隐私信息或商业机密,这部分数据泄露会对公司产生不利影响。
- 三级数据:机密数据,数据敏感且重要,仅限相关授权业务员工使用,这类数据的泄露将直接或间接对企业或个人造成不利影响,给企业带来法律风险,造成财产、声誉方面的损失。
- 四级数据:绝密数据,机密性和重要性程度最高。在公司内部,仅限于特定的角色按需在特定的范围内使用,严禁非业务相关人员讨论和传播,比如重要考试的试题等。
数据的安全性来看,操作上我们有一般接受和遵循的原则是按照“最小够用原则”,即要按需申请,切忌贪多,以防止数据引入后未真正应用却被不相干人员查看,导致数据泄露。
5)数据冻结(失效):数据失效即为数据过期不再使用,或者暂不使用,一般采用的操作有冻结、失效等。当然这里也会提到数据的物理删除,但正常情况下企业都不会执行物理删除,因为暂未使用的数据,将来某一刻或许有用,所以很少毁灭数据的。
我国家对各类数据保存年限方面有相关的法律规定,如:《会计档案管理办法》规定了我国企业和其他组织等会计档案的保管期限,该办法规定的会计档案保管期限为最低保管期限,具体可以分为:
- 永久保管:年度财务报告、会计档案保管清册、会计档案销毁清册、会计档案鉴定意见书。
- 30年:原始凭证(含用作会计原始凭证的完税凭证)、记账凭证、会计账簿,包括总账、明细账、日记账等,其他辅助性账簿、会计档案移交清册。
- 10年:月度、季度、半年度财务会计报告,行存款余额调节表,银行对账单,纳税申报表,单独装订、未用出口凭证(不含用于原始凭证的部分),未用作会计原始凭证的完税凭证。
- 5年:固定资产卡片账需在固定资产报废清理后保管5年,已经开具、单独装订、未用作原始凭证的发票存根联,发票登记簿。
以上这些不同的数据链的管理动作都要需要相应的数据管理角色和组织支撑,企业如何确定数据供应链中不同阶段数据的管理角色,可以参考DAMA数据管理知识体系中介绍的企业数据管理组织搭建模式,分5种:分散运营模式、网络运营模式、集中运营模式、混合运营模式、联邦运营模式。
企业具体采用何种模式,需依据企业管理现状及规划,任何一种模式都有优缺点有优点,如企业比较常见的网络运营模式(如下图)它的优点是结构扁平、观念一致、快速组建,有助于在不影响组织结构的情况下建立责任制;缺点是需要维护和执行与RACI相关的期望。
有了稳定的组织管理模式,加上适配的数据管理方法,才能管理好企业数据,发挥其真正价值。
三、为什么要做数据供应链管理
数据已经列为21世纪重要的生产资料,如何让企业在未来竞争中脱颖而出,识别价值数据并将数据作为重要资产要素管理起来,才是提升未来企业核心竞争力的有效方式。马云说:“21世纪核心的竞争就是数据的竞争;谁拥有更多数据,谁就拥有未来。”所以你看到的是每一个对未来有期待的企业都在研究数据,研究如何管理好数据,如何应用好数据。
传统企业为何要做数据供应链,这个其实就是数字化转型的大前提,一个没有优质数据作为支撑的企业,是无法实现数字化转型的。
回到供应链的初心,任何生产制造的行业都与这供应链相关方有千丝万缕的关系,有些供方提供的是原材料、半成品、或者成品,有些提供有形产品,有些提供无形产品或者服务。生产制造行业供应链管理是将线下生产和数字化结合最好的行业,很多企业都知道数据对于企业未来发展有多重要,但对于如何管理好数据却一筹莫展,如果数据管理能够参考这个标准化的流程去管理,那必然能事半功倍。
数据供应链就是指引我们重视起数据,像我们生产的一个活生生的产品一样经营数据,管理好数据的前世今生,数据溯源,挖掘数据背后的价值,应用到企业经营发展中,这才能让企业更具创造力,才能更长久地存活下去。
公众号:老司机聊数据
本文由 @Data-one 原创发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于CC0协议。
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。
看完这篇文章,我对这个话题有了更全面的了解,作者的分析很有逻辑,很有说服力。