主数据驱动的数据治理:原理、技术与实践
上QQ阅读APP看书,第一时间看更新

2.1 主数据的概念

2.1.1 主数据的定义

主数据这个概念起源于ERP等早期制造业集成应用系统的发展过程中。随着各类应用系统的广泛应用,包括“信息孤岛”问题在内的“数据处理危机”问题开始出现。在许多企业信息化初期,所谓的信息系统实际上是一些互不关联的数据结构(数据文件和应用数据库)和一些程序的堆砌。这类信息系统在应用过程中变成一张难解的、充满冗余数据的复杂大网。由于每个应用所存储、变换、冗余或重叠的数据紧紧交织在一起,因此,修改或扩充这种系统的任何部分都是十分困难且代价高昂的。一些企业试图通过建立数据接口来实现系统集成,然而这样的尝试并没有从根本上解决系统集成问题,而由此造成数据环境的混乱却越来越严重。在企业信息化浪潮中,数据质量的重要性越来越凸显起来,主数据这个概念被逐步强化和完善,独立于业务系统的主数据管理产品开始出现并得到了市场的认可。

主数据(Master Data)是指具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,是单一、准确、权威的数据来源。主数据包含元数据、属性、定义、角色、关联关系、分类方法等内容,被不同的应用所使用,涉及企业多数组织及业务单元。常见的主数据类型有产品、物料、客户、供应商、员工、会计科目、组织机构、项目等。

主数据之间还有着直接或间接的关联关系。例如,某一物料可能有多个供货商,不同的客户群可能由企业不同的部分提供服务,每个客户还可能关联一个或多个指定的销售代表(员工),生产部门还可能需要产品与原料间的关联关系。这些关联性是主数据的特性之一。由于主数据的这种核心性与相互关联性,因此,它必然存在于企业多个业务领域中。例如,客户存在于销售系统,也存在于支付系统;产品存在于销售订单中,也存在于生产计划或采购订单中。相对于交易类数据,主数据是相对稳定不变的数据。稳定性是主数据的另一个特性,主数据还具有分类特性。产品有不同的分类,如打印机可分为喷墨打印机和激光打印机,以便配合不同的配件销售方案。客户可能有不同维度的分类方式,如年龄或地域,以便细化客户群体,提供高满意度服务。这些分类后的主数据有助于企业进行数据分析,提供准确度更高的报表,从而进一步提高企业的整体竞争力。

2.1.2 主数据的特征

根据以上定义可以看出,与业务型数据、分析型数据相比,主数据具有以下几个特征。

• 特征一致性:由于企业布局的IT应用越来越多,数据散落分布在众多系统中。客户服务部门、生产部门以及采购部门都有各自的系统,彼此之间信息隔离。即使在一个业务部门里,也有众多前端和后端系统。正是由于构建在各种架构之上的不兼容系统中的这种部门化数据,使得创建和维护主数据的“单一”视图几乎无法实现。由于主数据的特征经常被用作业务流程的判断条件和数据分析的具体维度层次,因此能否保证主数据的关键特征在不同应用、不同系统中的高度一致直接关系企业实现应用集成的成败。

• 识别唯一性:在一个系统、一个平台,甚至一个企业范围内,同一主数据实体要求具有唯一的数据标识,即数据编码,例如,对于每位客户都有一个唯一的客户编码。根据一定编码规则得到的唯一的数据编码是进行业务活动的基础,在业务流转过程中各业务环节完全依赖业务活动数据中体现的主数据编码识别标志来定位后续的操作和处理,在业务环节结束后,主数据编码又将成为数据分析的主要维度,用来确定分析的范围和方向。

• 长期有效性:主数据通常贯穿该业务对象的整个生命周期甚至更长,换而言之,只要该主数据所代表的业务对象仍然继续存在或仍具有比较意义,则该主数据就需要在系统中继续保持其有效性;长期有效性的另一表现为主数据失去其效果时,系统采取的措施通常为标记无效或标记删除而非直接物理删除。只有定期对数据进行归档时,才会考虑将该主数据编码信息从系统中彻底删除。

• 业务稳定性:主数据作为用来描述业务操作对象的关键信息,在业务过程中其识别信息和关键的特征会被业务过程中产生的数据继承、引用和复制。但无论业务过程如何复杂和持久,除非该主数据本身的特征发生变化,否则主数据本身的属性通常不会随业务的过程而被修改。所以当识别主数据时,某些与业务结果密切相关及时效性很强的特征(如员工薪资等)需要同员工的固定属性(如员工姓名等)区别对待。

2.1.3 主数据的范围

企业典型的主数据类型一般包括供应商、物料、产品、客户、组织、人员、财务等数据。此外,根据业务需求,关键基础数据也经常纳入主数据的管理范畴。图2-1显示了企业主数据的一个典型示例,根据企业的行业特征和信息化建设的程度,主数据的内容也会发生变化。

图2-1 主数据实体示例

• 基础数据:各个业务单元通用的社会主数据信息,如国家地区、货币和行业分类等,这类信息一般采用现行的国家标准。

• 组织机构及人员:组织机构和人员是企业各项业务的主体,标准的组织机构及人员数据是集团内部单位协作、业务协调的根本保障,适合采用企业自行制定的企业级标准。

• 财务类数据:对财务类数据进行统一管理,有助于实现集团财务的集中管控,提高财务报表的准确性和实效性。在财务数据中,为了满足财务审计、信息披露等规定的要求,会计科目一般参考国家标准或由企业集团总部统一编制。

• 项目数据:项目是集团企业的核心业务,统一的项目编码,有助于企业对业务的统一监控和管理。只有长期项目的基础数据部分才纳入主数据管理的范畴。

• 物资设备:物资及设备数据的集中管理对企业有直接的经济效益,帮助企业实现集中采购,物资及设备资源的优化配置和高效使用。

• 供应商及客户:统一的供应商和客户数据管理,可以提高企业的供应商管理水平和客户服务水平,为企业打造和谐的上下游环境、建立长期友好的合作关系提供有力支持。

• 知识类数据:知识类主数据管理有助于对企业的无形资产进行有效管理,有效管理企业信息资源,使之发挥更大的作用。

• 办公类数据:办公类主数据主要指企业内部流转的公文、使用的标准化单据/表格、各类报表等,这类主数据用于支持企业管理工作的标准化。