主数据驱动的数据治理:原理、技术与实践
上QQ阅读APP看书,第一时间看更新

1.4 数据治理的核心内容

1.4.1 数据治理的内容

实际上,很多企业都在做涉及数据治理相关的项目,只不过可能是以其他项目的形式出现,如数据集成、ETLETL,是Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(Extract)、转换(Transform)、加载(Load)至目的端的过程,是实施数据仓库的重要步骤。、元数据等项目,这些都是数据治理的组成部分。因为数据治理是一项长期的企业管理活动,而且涉及的层面很多,所以,尽管很多IT公司都给自己的解决方案贴上了“数据治理”的标签,但应该说它们的方案和工具都只是数据治理中的一部分而已。

数据治理涉及管理方法与技术工具的综合运用,完整的数据治理项目通常包括目标、组织、制度、工具、标准5个关键要素。这5个方面缺一不可,如图1-6所示。同时,在数据治理项目的外部,需要通过有效的培训手段提升相关人员数据管理的意识,并配合规范的管理制度建设和企业文化建设,为数据治理项目的实施提供保障。

图1-6 数据治理管理框架

1. 目标

伴随着企业的做大做强,信息化程度不断深化,企业对数据的要求持续提升,数据治理成为一个长期的过程,需要持续不懈地推进,持续培养数据治理的组织文化,使数据治理成为组织中基因的一部分。

在这样一个持续性的管理升级过程之中,数据治理需要与企业战略相契合。因此,制定企业信息化战略,明确数据治理的目标是成功完成数据治理任务的基础。

目前国内大多数企业的数据治理仍然停留在技术层面,其目标集中在解决分散于各个业务及管理环节已有数据的问题,以及如何进行现有数据的清洗、映射、整合、应用等内容。而对更深层次的数据治理目标,如数据资产规划、数据架构设计、数据价值挖掘、数据管控制度等方面关注不够,导致数据治理任务与业务脱节,如与企业整体IT规划脱节。在未来的几年中,构建全方位的数据治理体系,提升企业数据治理能力,仍然将是企业信息化工作的重点,为企业提高核心竞争力夯实基础。

2. 组织

组织机构在数据治理过程的重要性逐渐被企业认知,组织机构是数据治理的关键。数据治理组织要实现由无组织向临时组织,由临时组织向实体与虚拟结合的组织发展,最终发展到专业的实体组织,企业必须建立数据治理的组织机构,设立各类职能部门,加强数据治理的专业化管理,并建立起专业化数据治理团队。

目前,数据治理组织多以临时组织的方式存在,这样的组织类似于项目部,对企业来说在组织构建和培养上没有连续性,缺少数据管理经验和知识的有效传递,而当今世界经济的发展要求在数据治理中建立有权威性、实体存在的组织机构,且要求能够在企业中一直存在并持续发展壮大。数据治理是一个系统的、涉及多部门的复杂工作,因此,实施数据治理的第一步就是要找到一位精通业务、有威望的负责人,协调多个部门的工作,统筹安排数据治理战略和重要计划,并具体实施数据治理的政策和策略。

组建数据治理组织机构一般包括定义数据治理规章制度、定义数据治理的组织结构、建立数据治理委员会、建立数据治理工作组、确定数据专责人等内容。

伴随着组织机构的发展,岗位的专业化是数据治理发展的必然趋势。在数据治理的各要素中,人是数据治理工作的执行者,即使组织机构设立得再合理,如果人的岗位职责不明确,那么也会造成职责混乱,工作者无所适从,工作效率低下的状况。数据治理需要治理团队的协同工作,每个岗位在统一领导之下,按照数据治理“源头负责制”分工协作,既要完成自己职责范围内的工作,又需要与其他岗位进行良好的沟通和配合,努力提高数据治理的效率和效果。

3. 制度

数据治理需要建立数据管控制度来保障。哪些数据可以被使用?数据可以被哪些人访问?可以被哪些人维护?需要由谁来审批?需要通过对这些方面进行制度规范和数据控制,以使数据能够安全、顺利、规范地使用。

在数据治理的过程中,企业越来越清晰地意识到,要想提高数据的质量,数据管控制度是必不可少的。数据管控制度发展到现在,逐步形成了多重控制相互作用、共同管控的状况。数据管控制度主要有以下内容。

1)流程化控制

数据的流程化控制是最普遍的控制方式。经过多年的理念和技术进步,流程化的控制已经发展为全方位的流程控制。要加强数据的流程化管控,不仅需要进行数据业务上的控制,也要有数据技术上的控制,还要有数据逻辑上的控制。

2)合规性控制

当今世界进入了经济全球化时代,企业的数据不仅要能为我所用,也需要考虑数据是否符合国际、国家的法规,是否满足行业的标准,能否满足跨国度、跨行业的经济行为的需要。数据合规性的控制是现代企业非常重视的控制方法。加强合规性控制是企业提高自身竞争力的必要手段之一。

3)工具化控制

随着信息化技术飞速发展,数据管理工具不断涌现,通过工具进行管理控制也是数据控制的方法之一。这种控制方法对既定的控制要求完全严格地执行。

4. 工具

随着IT技术的迅速发展,数据管理工具的功能越来越强大,使用越来越方便、人性化,并且持续有先进的管理思想融入其中。数据管理工具对数据治理是有效的支撑和辅助,采用一个成熟、先进、科学的数据管理工具也是提升数据管理水平、实现成功数据治理工作的关键要素。

通过数据管理信息化工具的应用,可以辅助完成组织机构和岗位职责的定义,数据标准规范的应用,实现数据管控流程、规则,完成数据访问授权控制,提高数据的安全性,管理数据的产生、审核、使用、修订直至消亡的全生命周期。

5. 标准

数据标准的制定是实现数据标准化、规范化,实现数据整合的前提,是保证数据质量的主要条件。标准不是一成不变的,它会因企业管理要求、业务需求的变化而变化,也会因社会的发展、科学的进步而不断地变化和发展,这就要求企业对标准进行持续的改进和维护。

数据治理标准的制定包括数据标准的制定和度量标准的制定两方面。

数据标准制定是数据标准化工作的核心。国外企业在进行数据治理时大多从数据标准管理入手,按照既定的目标,根据数据标准化、规范化的要求,整合离散的数据,定义科学的数据标准。

数据治理执行过程中的度量标准也是十分重要的,它用来检查执行过程中各项指标是否偏离既定目标,度量过程的成本以及进度。度量标准的制定是评估原有数据的价值,度量和监控组织的数据治理执行,有效度量数据治理效果的关键因素。原有数据的价值如何,企业需要花费多大的成本去做数据治理,这些问题都需要有能够度量的标准,按照度量后的原有数据的价值,确定数据的重要性优先级,以决策对数据治理的投入成本。

数据治理的效果如何也需要度量效果的标准来衡量。通过对治理效果的度量、分析,主动地采取措施去纠正,改善数据治理的工作。

1.4.2 数据治理的基本过程

数据治理是一种完整的体系,企业通过数据标准的制定、数据组织和数据管控流程的建立健全,对数据进行全面、统一、高效的管理。数据治理正是通过将流程、策略、标准和组织的有效组合,才能实现对企业的信息化建设进行全方位的监管。因此,数据治理项目的实施需要企业内部一次全面的变革,需要企业高层的授权和业务部门与IT部门的密切协作。一个完整的数据治理流程应该包含图1-7所示的基本过程。

图1-7 数据治理的基本过程

1. 制定数据战略

数据战略的制定需要两方面的努力:一是理解企业的战略需求;二是识别企业的业务问题。

首先,数据战略必须与企业战略相契合,并纳入到企业信息战略的框架之中。因此,理解企业的战略需求是制定合理的数据战略的基础。这需要在深入调查的基础上进行业务分析,理解企业的现行业务的逻辑关系及其后续规划,建立企业业务模型。进而,围绕核心业务环节进行数据分析,清理企业数据资产,并明确数据治理的重点。

其次,根据数据治理的现有实践,得出治理计划失败的主要原因,譬如,它们无法识别实际的业务问题。因此,企业亟须围绕一个特定的业务问题(如失败的审计、数据破坏或出于风险管理用途对改进的数据质量的需要)定义数据治理计划的初始范围。一旦数据治理计划开始解决已识别的问题,业务职能部门将支持它把范围扩展到更多区域。

通过上述的调研和分析,明确企业数据治理的愿景、使命、目标和原则,制定实施路线图,并确立治理效果的度量指标。

2. 建立数据治理组织、制度

在这一阶段将完成数据治理委员会和数据管理专业团队的搭建,明确相应的岗位职责和管理制度。

组织和制度的建立首先需要得到企业高层对数据治理计划的支持,可通过具体的业务案例揭示关键业务环节中存在的数据质量问题,展示数据治理的价值。

与任何重要的计划一样,组织需要任命数据治理的整体负责人。过去,大型企业一般将首席信息安全官(CSO)视为数据治理的负责人。此外,首席信息官(CIO)也常常承担数据治理的领导职责。近来,越来越多的企业意识到数据资产对企业的重要性,正在以全职形式安排数据治理角色,使用“数据照管人”等头衔。无论角色名称如何,数据治理的整体负责人必须在企业高层有足够的影响力,以确保数据治理计划能顺利展开。

除此之外,数据治理需要建立合适的组织架构。数据治理组织一般采用三层结构。顶层是数据治理委员会,由关键职能主管和业务领导组成;中间层是数据治理工作组,由经常会面的中层经理组成;最后一层由数据管理员和IT技术支持人员组成,负责日常的数据管理工作。

3. 发布数据标准

数据治理的首要任务就是要制定企业统一的数据标准和规范,开发共用的、标准的数据集成规则,并定义企业级的数据模型,为实现企业的信息集成、数据共享、业务协同和一体化运营做好信息化的基础保障。

数据标准的发布有赖于对企业数据的完整理解。如今很少有应用和数据是独立存在的,数据往往散落在企业各个角落,但彼此间存在相互关联。数据治理团队需要发现整个企业中关键的数据关系,以及企业IT系统内敏感数据的位置,通过数据标准对关键数据的形态及其关系进行规范。

4. 定义数据质量

数据治理需要拥有可靠的度量指标来度量和跟踪进度。数据治理团队必须认识到只有可度量的过程,才可能进行管理、改进。因此,数据治理团队必须挑选一些关键性能指标(KPI)来度量计划的持续性能。例如,一家银行希望评估行业的整体信贷风险,数据治理计划可以选择标准行业分类(SIC)代码的完整性作为KPI,跟踪风险管理信息的质量。

5. 监控反馈评价

监控反馈评价包括数据管理成熟度的评估和治理效果的评价。

实施数据治理的组织需要定期对其数据管理的成熟度进行评估,一般每年执行一次。评估包括组织当前的成熟度水平(当前状态),以及在当前数据战略下未来期待达到的成熟度水平(未来状态),并开发一个路线图来填补当前状态与想要的未来状态之间的空白。例如,数据治理组织可以检查“组织”的成熟度空白,确定企业需要任命数据照管人来专门负责目标主题数据的管理,如客户、供应商和产品。路线图一般涵盖后续12~18个月的治理工作,这段时间必须长到足够生成结果,短到确保关键利益相关者的持续支持。

数据管理成熟度评估是一种整体评价,而治理效果评价则是对一个数据治理流程更加全面细致的评估、检查、测试和分析,包括实际指标和计划指标对比,以确定系统目标的实现程度,未完成指标的具体情况和原因,同时对系统建成后产生的效益进行全面评估。

1.4.3 数据治理的重点

企业的数据资产可分为主数据、业务数据和分析数据。主数据描述的是核心业务实体,如客户、供应商、地点、产品和库存等;业务数据描述实体发生的业务流程,如客户订单、出库单等,业务数据的实质是多个业务实体之间的关系;分析数据是在业务数据之上衍生出的数据产品。通常,主数据所刻画的核心业务实体会在多个业务系统和分析系统中被重复使用。因此,主数据是企业中涉及多个价值链和核心业务流程的基础数据。

由于主数据作为企业数据资产中最核心的、需要共享的基础数据,对主数据进行治理也就成为数据治理任务中的重中之重,是后续进行业务数据和分析数据治理的基础。为解决分散管理的主数据之间存在着的一致性、准确性和完整性问题,促进企业内部的数据共享,促进数据资产价值的开发,必须引入主数据管理。

主数据管理旨在从企业的多个业务系统中抽取主数据并进行整合,集中进行数据清洗,并以服务的方式把统一、完整、准确的主数据分发给企业内的操作型应用和分析型应用,包括业务系统、业务流程和决策支持系统等。企业的各个业务流程都将从中受益。例如采购部门可以通过整合物资数据进行全企业范围的统一采购和资源调度,能够大大节约采购成本;对于销售和营销业务,因为可以与生产和库存对接,可更迅速、经济、有效地完成营销活动,主数据管理系统能够确保企业在任何预期使用场景下,同步到CRM和ERP等应用系统的数据的清洁性、精确性、时效性以及一致性都处于最高级别。

因此,主数据治理作为数据治理中最为基础的一环,是企业获得一个完整、可信的数据视图的必经途径。主数据的应用与数据质量是相辅相成、相互推动的关系。主数据体系的构建和执行是提升企业数据管理与应用水平,保障可靠数据质量的关键举措。企业应该着眼于建立行之有效的主数据体系,挖掘主数据的潜力,有效提升主数据的质量,进而充分体现数据资产在企业中的核心价值。