大数据技术基础：基于Hadoop与Spark

封面

版权信息

内容提要

前言

第1章 大数据技术概述

1.1 大数据技术的发展背景

1.2 大数据的概念、特征及意义

1.3 大数据的存储与计算模式

1.4 大数据的典型应用

1.5 初识Hadoop大数据平台

1.6 习题

第2章 Hadoop平台的安装与配置

2.1 安装准备

2.2 Hadoop的集群安装

2.3 Hadoop开发平台的安装

2.4 习题

2.5 实训

第3章 Hadoop分布式文件系统

3.1 HDFS概述

3.2 HDFS的体系结构

3.3 HDFS Shell操作

3.4 习题

3.5 实训

第4章 HDFS API编程

4.1 HDFS API概述

4.2 HDFS Java API客户端编程

4.3 HDFS应用举例——云盘系统的实现

4.4 习题

4.5 实训

第5章 Hadoop分布式计算框架

5.1 MapReduce概述

5.2 YARN运行机制

5.3 数据的混洗处理

5.4 作业的调度

5.5 任务的执行

5.6 失败处理机制

5.7 MapReduce示例演示——WordCount

5.8 习题

第6章 MapReduce API编程

6.1 MapReduce API概述

6.2 MapReduce的数据类型

6.3 MapReduce的输入

6.4 MapReduce的输出

6.5 MapReduce的任务

6.6 MapReduce应用举例——倒排索引

6.7 习题

6.8 实训

第7章 MapReduce 高级编程

7.1 自定义数据类型

7.2 自定义输入/输出

7.3 自定义Combiner/Partitioner

7.4 组合式计算作业

7.5 MapReduce的特性

7.6 MapReduce应用举例——成绩分析系统的实现

7.7 习题

7.8 实训

第8章 Spark概述

8.1 环境搭建

8.2 Spark简介

8.3 Spark大数据技术框架

8.4 Spark 2.0 使用体验

8.5 Spark的数据模型

8.6 Spark任务调度

8.7 习题

8.8 实训

第9章 Spark Streaming编程

9.1 Spark Streaming介绍

9.2 Spark Streaming工作机制

9.3 Spark的DStream流

9.4 Spark Streaming案例

9.5 集群处理与性能

9.6 习题

9.7 实训

第10章 Spark SQL编程

10.1 Spark SQL概述

10.2 DataFrame

10.3 数据源

10.4 Spark Streaming与Spark SQL综合案例

10.5 习题

10.6 实训