第1章 大数据技术概述

本章目标：

● 了解大数据的发展过程以及大数据对国内外各行各业的影响。

● 掌握大数据的概念及其特征。

● 了解大数据的来源，理解大数据在技术、安全等方面面临的挑战和研究大数据的意义。

● 掌握大数据的存储与计算模式的相关概念，了解其中的关键技术及基本思想。

● 了解大数据的典型应用场景，学会用创新性思维来看待大数据。

● 了解Hadoop的发展过程和优势。

● 熟悉Hadoop的生态系统以及其中的基本概念。

● 了解Hadoop的版本发行状况。

本章重点和难点：

● 大数据的概念与特征。

● 大数据的存储与计算模式及其相关技术。

● Hadoop的生态系统及其基本概念。

我们生活在一个数据大爆炸的时代，很难估算全球电子设备中存储的数据总共有多少。根据中国最大的企业级IT网站ZDNET（至顶网）的年度技术报告——《数据中心2013：硬件重构与软件定义》，2013 年中国产生的数据总量超过0.8ZB（相当于8亿TB），2 倍于2012年中国的数据总量，相当于 2009 年全球的数据总量。该报告预计，到 2020 年，中国产生的数据总量将是2013年的10倍，超过8.5ZB。本章将深入介绍大数据的发展、概念、特征、典型应用，以及Hadoop大数据平台的发展、基本概念及体系结构。