以自动化为核心的自服务大数据治理

出处：微信公众号EAWorld

作为企业数字化转型的基础，数据成为企业建设的重点。如何能够管理好数据，成为各行业的热点问题。

目录：

一、传统数据治理难以满足数字化要求，企业需要新一代大数据治理

二、如何实现以用户为中心的自服务的大数据治理？

三、自动化是自服务大数据治理的核心

四、总结

一、传统数据治理难以满足数字化要求，

企业需要新一代大数据治理

1、大数据平台建设浪潮过后，企业深刻认识到数据治理的重要性

经历过广泛的大数据平台建设浪潮之后，数据问题变得越来越多，这两年数据治理变得越来越热，各行各业都深刻意识到了数据治理的重要性。这点从我们的客户分布就可以看出来：五年前过来找我们做数据治理的都是金融行业的客户，现在证券、航空、政府、电网、制造、物流等一系列新的行业客户也纷纷来找我们做数据治理了。为什么现在各行各业都这么关注数据治理？我觉得有几个方面的原因：

• 国家政策
  
  

自从国家发布《促进大数据发展行动纲要》以来，国家连续出台了多个与数据建设相关的政策，持续不断地推进国内大数据建设，强调数据的重要性，而在数据价值获得的过程中，数据的质量问题越发突出和严峻，这样拉开了国内数据治理的序幕。

• 外部监管要求
  
  
  

在银行业，银监会持续增加对金融企业的监管力度，在保险行业，保监会也提出了数据治理的要求，在证券行业，证监会也提出了行业数据治理体系和标准化的相关举措。

• 企业自身需求
  
  

国内企业广泛经历大数据平台建设的浪潮，但真正能为业务发挥效益的成功案例却少之又少，海量数据下暴露的数据资产不清晰、数据质量不高等数据问题已经严重影响了大数据应用的发展，不少企业都开始针对数据治理立项。如南网，国网，华为等大型企业。

2、传统管控型的数据治理还能解决现阶段企业的数据问题吗？

大数据时代，数据治理的本质还是解决数据的问题，我觉得现阶段企业建设大数据平台的突出问题主要体现在以下四个方面：

• 数据不可知：
  
  

用户不知道大数据平台中有哪些数据，也不知道这些数据和业务的关系是什么，平台中有没有能解决自己所面临业务问题的关键数据？该到哪里寻找这些数据？

• 数据不可控：
  
  

没有统一的数据标准导致数据难以集成和统一，没有质量控制导致海量数据因质量过低而难以被利用，没有能有效管理整个大数据平台的管理流程。

• 数据不可取：
  
  

用户不能便捷自助地拿到数据，相反，获取数据需要很长的开发过程，导致业务分析的需求难以被快速满足，漫长的需求响应时间难以满足快速增长的业务需求。

• 数据不可联：
  
  

企业员工难以做到数据与知识之间的快速转换，不能对数据进行自助的的探索和挖掘，数据的深层价值难以体现。

原来的数据治理基本上都是管控型的，比如说原来银行业的数据治理，强调的是管理流程和管理规范，主要目标是做管控，但是通过上面的问题分析我们看到，在大数据平台阶段，用户对数据治理的需求持续增长，只是管控已经很难解决企业面临的诸多数据问题了，我们需要重新思考新的数据治理形式。

3、大数据时代，数据治理应该从管控型向服务型转变

原来数据治理往往就是数据平台上面或者下面的一条横线，是在数据平台之外的，是只起管控作用的。在大数据平台阶段，用户范围从数据部门扩展到全企业，数据治理不能再只是负责管控了，更多时候是为用户提供服务，在这时候，数据治理应该不仅仅是数据平台上面的一个横条，而是应该变成整个平台到用户中间的竖条，成为数据与用户之间的中介。

我们现在要做的，就是把数据治理从“管控型”转变成面向全企业用户的“服务型”数据治理，从给用户提供服务的角度，给大家提供一个数据的工作环境，管理好数据的同时为用户提供自助获得大数据的能力。

在企业环境中，各种各样的用户都会有数据方面的需求，我总结了七类用户，数据治理需要给他们提供相应的数据服务，不是再像之前那样只建立和落地管理流程，而是让大家在用数据的时候，自然地把数据管理的事情做好。

未来，数据治理将从只是面向数据部门转变成全企业用户的智能数据工作环境，通过数据治理把业务和技术数据结合在一起，让全企业的工作人员都能以自服务的方式使用和操作数据。

二、如何实现以用户为中心的

自服务的大数据治理？

数据治理不应该只是负责管，而是应该从“管、看、找、用”这四方面为企业用户提供价值。

• 管：帮助企业管理海量数据，保证业务创新数据的可靠性
  
  

如何把数据管理好，依然是未来大数据治理的基础和重点。只不过数字化时代企业的数据来源比以前更广了，而且大部分是媒体、视频、物联网传感器等非结构化数据，这些数据远比以前更加难以管理，在这种形势下，通过原来那种人工梳理和管理的方式已经很难把数据管理好了，我们需要更加自动化的方式管理数据。

• 看：提供360°视图，帮助用户从多角度认识企业大数据
  
  

把技术元数据、业务元数据，包括指标之间的关系都获取到以后，我们要让大家能看到数据是什么样的，这是我们根据自动化采集而做出的一系列的展示方式，通过数据地图、主题图、导航图、业务数据流图以及大屏显示等展现方式从财务、人力、策略、外部、组织、IT、治理、过程、项目等多种角度展示企业的大数据情况，使企业中的各种角色都能找到理解大数据的方式，从而提升企业角色对大数据的整体认识。

• 找：打通业务与数据的关系，帮助用户快速“淘”到所需数据
  
  

大数据时代，充分释放数据价值的前提是让企业人员能够自助查找数据。现在用户普遍比较适应“淘宝、京东”式查找，通过机器学习技术形成企业业务的知识图谱的方式有效地管理业务元数据，通过自动化工具管理技术元数据，实现二者的有效关联并打通数据间关系，能让企业用户能够像网购时挑选商品一样来查找企业数据环境中的数据。

• 用：减轻IT人员负担，为业务人员提供自助数据准备能力
  
  

之前数据准备工作常常依赖于大量工具和多名IT人员，应用开发者提需求，提完需求有专门的数据工程师做ETL，交付的速度跟不上，中间过程中还容易出现问题，带有自服务能力的大数据治理平台，能在业务人员找到所需数据后，自动将数据准备好并通过统一工具的可视化的交互界面提供给业务人员，让业务用户快速拿到需要的数据，从而将更多精力投入到如业务相关的数据分析中。

• 普元自服务大数据治理经典案例
  
  

经过一段时间的摸索，我们几乎先后在各大行业成功完成了自服务大数据治理项目的实施，在这里给大家举几个比较有代表性的

• 某航空公司：以数据架构为核心的服务化数据治理
  
  

航空公司的问题是有很多国内外的系统，整个的数据架构处在一个混乱的阶段。某大型航空的数据治理除了数据治理体系的建设之外，从一开始就确立了服务化的思路，我们用整个自动化的方式，帮他梳理了他所有的数据的架构，以自动化的能力支撑管理体系的执行，同时在数据架构的梳理之上提供数据服务的能力，使数据治理不仅仅为管控，也给了客户了解数据，使用数据的整体工作环境。

• 某政府：打通数据与应用鸿沟的自服务数据治理平台
  
  

某政府部门的自服务数据治理，从一开始的目标就是解决应用与数据之间的鸿沟，在这个项目里我们完美地实现了整个数据的寻找过程，在公安领域，侦察员查找数据的时候都比较急，他需要在我们平台上找到并拿到他想要的数据，然后直接做分析。这个过程中我们解决了资产不清、数据质量不高，以及业务和数据难协作的问题。通过理清数据情况，监控数据质量，提供自主服务，使侦查员可以通过数据资产的查找自动化形成数据通道，在应用中使用数据，发挥数据的价值。

• 某电网公司：以元数据为驱动，有业务针对性的数据自服务平台
  
  

普元与某电网公司规划与落地了自服务数据治理平台，管理了该电网某省公司的业务模型，同时建立了模型和技术元数据间的对应关系，落实了数据模型和技术间的关系。同时从服务的角度，建立了自服务的能力，让用户通过业务模型自助获取数据，分析数据。形成了以服务化为先导的数据治理体系和业务人员的数据工作环境。

三、自动化是自服务

大数据治理的核心

在大数据时代，传统的以人工为主的手段无论从人性的角度还是从数据量的角度都不能够满足企业的需求，落地自服务的大数据治理需要更自动化的手段。原有的技术手段、产品能力，都需要进一步的升级。

我们总结出了五个方面的自动化示例：自动化支撑数据标准构建、自动化规范系统数据模型、自动化构建企业数据地图、自动化实现数据协同变更、自动化形成大数据生产线。

• 自动化支撑数据标准构建
  
  

原来数据标准的构建是一个强梳理的过程，但这样出来的标准往往很难落地。其实标准不在好坏，在于是否符合企业自身情况。构建数据标准要从自动化的数据资产梳理开始。通过元数据管理工具自动摸清企业有哪些数据，在什么地方，在这些都明确的基础上，自动对元数据进行归集和分类，将分类结果经过甄别评审后归集到定义好的数据标准分类体系上，整个过程在线上完成，实现数据标准构建的自动化支撑。

• 自动化规范系统数据模型
  
  

原来标准落地的方式是把建好的标准给各个业务部门，要求他们设计模型的时候按照标准来，最后还是需要人工做对应。现在我们需要把整个的过程前置，前置在建模型的时候就要做标准，业务模型、逻辑模型、数据模型要能在线上设计完成，在设计的过程中就能引用数据标准，以此来达到规范模型的目的。

• 自动化梳理企业数据资产
  
  

刚才说的这两点很核心的就是需要梳理企业的资产，下图是我们产品里内置的自动化采集器的不完全的列表，正是有这样的列表，我们才可能自动化采出这样的图，包括自动化的数据地图，自动化的业务设计，以流程为主的数据的设计，包括业务模型。

• 自动化实现数据协同变更
  
  

在数据链路上，任何一个点上数据结构的变化必将影响其他节点上的数据，我们需要一种自动化的能力实现全数据协同变更。当一个重要的数据变更以后，我们再也不需要到处走线下的纸制流程，让各个业务部门确认了。而是自动化线上分析这个重要数据到底影响谁，影响程度什么样，每一次数据变更都变成一个自动化过程。下图是一个典型的案例场景。

• 自动化形成大数据生产线
  
  

然后整个的生产中我们需要有自动化的能力，包括数据的获取、数据的准备，数据的服务开发，以及数据发布。形成一条自助的数据生产线，在这样一系列的自动化的指引下，才有可能实现数据治理的自服务能力，也真正让业务人员获得好处。

四、总结

最后，总结一下本文的内容。首先企业的数据治理未来一定是向服务化发展，我们不能再走银行现在的这条管控的路，因为数据量变得太大，数据的范围也变得太广，我们需要有服务化的思想，去想我们怎么能为业务服务，为开发服务，在服务的过程中给大家提供整个企业的工作环境，并且用自动化的能力把服务化的数据治理做好。现在数据治理变得越来越重要，我也相信未来数据治理工作将会越来越重要。

关于作者：

王轩

普元信息软件产品部副总、大数据产品部总经理、中国大数据产业生态联盟专家委员会专家委员、中国数据大工匠、国内数据标准化及治理领域专家、国际数据管理协会（DAMA）会员。有十年大型企业信息化架构设计与建设经验，曾任中国人民银行核心架构师，现全面主持普元大数据产品部的研发、拓展及团队管理工作，主持参与了银行、证券、保险、航空、电力、政府、公安等多个领域的大数据治理项目建设。