2.3 MapReduce
2.3.1 MapReduce逻辑结构
MapReduce是一种分布式计算模型，由两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。
比如统计图书馆中的所有书。你统计1号书架，我统计2号书架，这就是“Map”。人越多，统计得就越快。把所有人的统计结果加在一起，这就是“Reduce”。
1.MapReduce逻辑结构
MapReduce逻辑结构如图2.7所示。
图2.7 MapReduce逻辑结构
2.Map与Reduce执行
下面以统计文档姓氏词频为例，说明Map与Reduce执行过程，如图2.8所示。
图2.8 Map与Reduce执行
Step1：Map任务处理。
Step1.1：读取HDFS中的文件。每一行解析成一个键值对<k,v>。每一个键值对调用一次map函数。得到<00,张><01,李><02,刘>；<10,王><11,李><12,赵>。
Step1.2：覆盖map()，接收Step1.1产生的<k,v>，进行处理，转换为新的<k,v>输出。即<李，1><张，1><刘，1><王，1><李，1><赵，1>……
Step1.3：对Step1.2输出的<k,v>进行分区，默认分为一个区。本例分两个区。
Step1.4：对不同分区中的数据进行排序（按照k）、合并。合并指的是相同key的value放到一个集合中。排序后：
合并后：
Step2：Reduce任务处理。
Step2.1：多个map任务的输出，按照不同的分区，通过网络复制到不同的reduce节点上。
Step2.2：对多个map的输出进行合并、排序。覆盖reduce函数，接收的是合并后的数据，实现自己的业务逻辑，<李，2><刘，2><孙，1>处理后，产生新的<k,v>输出。
Step2.3：对reduce输出的<k,v>写到HDFS中。