1.3 数据治理的目标和挑战
1.3.1 数据治理的概念
随着企业信息化进程的推进,数据资产的构成越来越复杂,跨部门、跨系统的协同对数据质量提出了越来越高的要求,数据管理成为一项复杂的系统工程。因此,数据治理的话题也被越来越多地被提及和讨论,只有建立了一定的数据治理体系,才可能系统性地提升数据管理的能力,改善数据质量,用户才能真正地进入商业智能时代。
目前,数据治理和众多的新兴学科一样,也有很多种定义。IBM认为,数据治理是根据企业的数据管控政策,利用组织人员、流程和技术的相互协作,使企业能将“数据作为资产”(data as enterprise asset)来管理和应用。根据伯森(Berson)和杜波夫(Dubov)的定义,数据治理是一个关注于管理信息的质量(Quality)、一致性(Consistency)、可用性(Usability)、安全性(Security)和可得性(Availability)的过程。这个过程与数据的拥有(Ownership)和管理职责(Stewardship)紧密相关。
我们认为,数据治理是围绕数据资产展开的系列工作,以服务组织各层决策为目标,是数据管理技术、过程、标准和政策的集合。通过数据治理过程提升数据质量、一致性、可得性、可用性和安全性,并最终使企业能将数据作为核心资产来管理和应用。
数据治理是一种完整的体系,企业通过数据标准的制定、数据组织和数据管控流程的建立健全,对数据进行全面、统一、高效的管理。数据治理正是通过将流程、策略、标准和组织的有效组合,才能实现对企业的信息化建设进行全方位的监管。因此,数据治理项目的实施需要企业内部一次全面的变革,需要企业高层的授权和业务部门与IT部门的密切协作。
数据治理覆盖了企业内几乎所有的信息化建设相关工作,不仅包含各类核心业务系统,也包括数据存储、数据仓库、数据分析以及其他相关的系统,最终实现数据的全方位监管,实现数据全生命周期的梳理和管理,保证了数据的有效性、可访问性、高质量、一致性、可审计和安全性。从技术支持范围来讲,数据治理涵盖了从前端事务处理系统、后端业务数据库到终端的数据分析,从源头到终端再回到源头,形成一个闭环的负反馈系统;从业务范围来讲,数据治理就是要对数据的产生、处置、使用进行监管;从控制范围来讲,数据治理必须通过对人员、流程和系统的整体设计和调整,满足数据与业务的全面结合。目前较被认可的数据治理工作通常包括数据标准定义、数据质量管控、数据安全管理、数据架构规划等内容,以及建立包括政策制度、组织架构、管理流程、技术支撑等方面在内的数据治理保障体系。
1.3.2 数据治理的目标
数据治理是对数据资产管理行使权力和控制的活动集合(计划、监控和提升)。加强数据治理是提升信息化能力、提升精细化管理水平、提高业务运营效率、增强企业决策能力和核心竞争的重要途径。数据治理的工作职能指导其他数据管理职能如何执行,数据治理是在更高层次上执行数据管理制度。每个企业都以不同方式实现数据治理,这主要是因为他们具有不同的业务目标。一些企业可能专注于数据质量,而其他企业专注于客户资料完整性,还有一些企业专注于确保敏感客户数据的隐私。一般来说,企业可通过治理其数据而实现以下目标。
• 完善的数据管控体系。通过对数据管控组织、流程、标准和技术支持的统一规划设计,实现数据管控过程的高效运行和持续优化,建立数据治理的长效机制。
• 统一的数据来源。通过对关键共享数据进行集中管理,确保关键共享数据的一致性,构建企业层面的统一数据视图。
• 标准化、规范化的数据。数据清理将实现现有数据的标准化,数据申请和数据审批等业务流程将控制新增数据的标准化,从而彻底改善数据不完整、冗余、错误等质量问题。
• 提高工作效率。数据的标准化将使企业内部的信息共享、业务融合更加流畅,业务对数据实时性、准确性的需求得到满足,从而带来工作效率的提高。
• 降低数据管理、维护、集成成本。共享数据分散在不同的业务系统中,想要保持数据的一致性,就必须付出大量管理维护成本,但这仍然无法根治数据质量问题。数据治理通过对这部分数据统一管理,而后将一致的、权威的数据通过接口自动分发给各个业务系统,大大节约维护成本,并且保证了数据的质量。
• 满足数据的合规性。数据治理将帮助组织更好地遵从内外部有关数据使用和管理的监管法规,如SOX法案、Basel Ⅲ协议等。
1.3.3 数据治理的挑战
在Experian发布的“2018年全球数据管理研究”报告中,对实施数据治理项目的挑战进行了调查,具体的统计结果如图1-5所示。
图1-5 企业数据管理存在的挑战
实施数据治理的企业普遍认为跨组织的协调是治理过程中最大的挑战,如何处理跨组织的数据不一致问题是数据治理项目规划和实施所需解决的关键问题。此外,数据治理的挑战主要集中在以下三个方面。
• 数据治理项目的规划:在规划阶段,企业往往在确定目标(治理哪些数据)和工具选型(购买哪些工具)上存在困难,因为难以界定数据治理的边界,导致投资规划困难。
• 组织和制度建设:企业不了解如何组织数据治理团队,如何激发业务部门参与的积极性,如何创建适当的规则和制度。
• 数据治理项目的执行:在执行过程中,如何有效地评估进度和保证数据治理的效果长期存在是企业普遍感受到的问题。同时,也有企业反映数据治理过程太过刻板不灵活。
由上述的调查可以看出,数据治理不仅仅是技术问题,更是管理问题。此外,企业主要决策者和业务主管对数据治理的目标、内容和过程的正确理解是治理的基础。同时,成功的数据治理项目往往需要外部专业机构的辅助,在规划和实施过程中提供咨询服务和技术支持。