上QQ阅读APP看书,第一时间看更新
第五节 大数据分析与商业智能
一、商业智能概述
(一)定义
商业智能(business intelligence,BI)概念最早于1996年由加特纳公司(Gartner Group)提出,是指由数据仓库(data warehouse,DW)(或数据集市)、联机分析处理、数据挖掘(data mining,DM)等部分组成的、以帮助机构决策为目的的一类技术及其应用。
BI描述了一系列的概念和方法,通过应用基于事实的业务支持系统来辅助商业决策的制定,BI技术提供使管理者迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,并且以非常友好的形式展现给使用者。
BI包括数据集成、数据仓库集中管理、数据模型设计和数据分析展现4项专业技术。有别于传统的数据统计分析软件,BI可以有效抽取和整合分散在各个系统中的数据,实现对管理所需数据的集中管理和深度加工,并可根据不同管理者的需求实现个性化、动态化、多样化的数据展现和分析。IBM COGNOS10是面向服务架构(service-oriented architecture,SOA)的BI软件的代表。
(二)处理流程
BI系统是一种提高决策能力的有效工具。从系统的观点来看,一个典型的BI系统包括数据准备、数据存储、数据分析和知识挖掘以及应用反馈等处理流程。BI处理流程如图1-3-8所示。
图1-3-8 BI处理流程
1.数据准备
外部数据源通过运行环境(ERP、CRM、SCM等)流入BI循环(包含有关客户、供应商、竞争对手、产品以及企业本身的信息)。
2.数据存储
数据进入数据仓库/数据集市等数据存储模块,对加入数据仓库的数据进行净化和转换、纠正错误的数据和统一格式,使其满足数据仓库的数据格式和质量标准,并存储在中央存储库(关系型数据库或多维数据库)。数据的抽取、净化、转换和存储是BI循环的核心组成部分。
3.数据分析和知识挖掘
从数据仓库/数据集市中获取数据,并利用数据分析和知识挖掘工具,挖掘出对决策有用的知识,将所得结果提交给业务决策者。这一部分满足了从简单报表经由OLAP扩展到数据挖掘范围内的各种需要,是BI系统的灵魂。
4.应用反馈
BI将所得的知识以及决策者自身的反馈信息再次带入运作环境,根据发生的变化表达新的需求,提高BI流程的内在质量。
(三)体系架构
从对处理流程的分析可以看出,BI系统主要由数据集成子系统、数据存储子系统以及BI应用子系统组成,体系架构如图1-3-9所示。
1.数据集成子系统
数据集成子系统提供解决数据一致性与集成化问题的方案。它通过数据整合、数据集中、数据交换等数据处理手段,将各个业务系统面向应用的数据按照面向统计分析的方式进行再次组织,屏蔽数据资源的异构性与分布性,从而实现统一的数据访问和数据集成。目前数据集成主要通过ETL工具软件、基于ETL的数据交换技术实现。
图1-3-9 BI体系架构
2.数据存储子系统
数据存储子系统主要是指数据仓库。数据仓库在现有各业务系统的基础上,对数据进行抽取、清理,并有效集成后,按照主题进行重新组织,最终确定数据仓库的物理存储结构,同时组织存储数据仓库元数据(数据仓库的数据字典、记录系统定义、数据转换规则、数据加载频率以及业务规则等信息)。
3. BI应用子系统
通过对分析需要的数据按照多维数据模型进行再次重组,以支持用户多角度、多层次的分析,并利用数据分析工具从中发现有用的知识,支持决策过程。BI应用子系统主要包括各种数据分析工具、报表工具、查询工具、数据挖掘工具以及各种基于数据仓库或数据集市开发的应用。其中数据分析工具主要针对OLAP服务器,报表工具和数据挖掘工具针对数据仓库和OLAP服务器。