MapReduce基本介绍
MapReduce基本介绍
MapReduce是一种面向大数据并行处理的计算模型、框架和平台，它将复杂的并行计算过程高度抽象为两个基本函数：Map和Reduce。MapReduce的设计理念是"分而治之"和"计算向数据靠拢"，这使得它能够高效地处理大规模数据集。
MapReduce模型简介
MapReduce将存储在分布式文件系统中的大规模数据集切分成多个独立的分片（split），这些分片可以被多个Map任务并行处理。MapReduce框架采用了Master/Slave架构，包括一个JobTracker和若干个TaskTracker。Hadoop框架是用Java实现的，但是MapReduce应用程序则不一定要用Java来写。
MapReduce的特点
MapReduce具有以下特点：
- 易于编程：程序员仅需描述做什么，具体怎么做由系统的执行框架处理。
- 良好的扩展性：可通过添加结点以扩展集群能力。
- 高容错性：通过计算迁移或数据迁移等策略提高集群的可用性与容错性。
MapReduce与传统并行计算框架的对比
特征 | 传统并行计算框架 | MapReduce |
|---|---|---|
集群架构/容错性 | 共享式（共享内存、共享存储），容错性差 | 非共享式，容错性好 |
硬件/价格/扩展性 | 刀片服务器、高速网、SAN，价格贵，扩展性差 | 普通PC机，便宜，扩展性好 |
编程/学习难度 | what-how，难 | what，简单 |
适用场景 | 实时、细粒度计算、计算密集型 | 批处理、非实时、数据密集型 |
MapReduce的体系结构
MapReduce体系结构主要由四个部分组成，分别是：Client、JobTracker、TaskTracker以及Task。
图：MapReduce的体系结构
- Client：用户编写的MapReduce程序通过Client提交到JobTracker端。用户可通过Client提供的一些接口查看作业运行状态。
- JobTracker：负责资源监控和作业调度。监控所有TaskTracker与Job的健康状况，一旦发现失败，就将相应的任务转移到其他节点。JobTracker会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉任务调度器（TaskScheduler），而调度器会在资源出现空闲时，选择合适的任务去使用这些资源。
- TaskTracker：周期性地通过“心跳”将本节点上资源的使用情况和任务的运行进度汇报给JobTracker，同时接收JobTracker发送过来的命令并执行相应的操作（如启动新任务、杀死任务等）。TaskTracker使用“slot”等量划分本节点上的资源量（CPU、内存等）。一个Task获取到一个slot后才有机会运行，而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分配给Task使用。slot分为Map slot和Reduce slot两种，分别供MapTask和Reduce Task使用。
- Task：分为Map Task和Reduce Task两种，均由TaskTracker启动。
MapReduce工作流程
MapReduce的工作流程可以分为以下几个阶段：
Split（分片）：HDFS以固定大小（默认为128MB）的block为基本单位存储数据，而对于MapReduce而言，其处理单位是split。split是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全由用户自己决定。
Map任务的数量：Hadoop为每个split创建一个Map任务，split的多少决定了Map任务的数目。大多数情况下，理想的分片大小是一个HDFS块。
Reduce任务的数量：最优的Reduce任务个数取决于集群中可用的reduce任务槽(slot)的数目。通常设置比reduce任务槽数目稍微小一些的Reduce任务个数（这样可以预留一些系统资源处理可能发生的错误）。
Shuffle过程：Shuffle过程是MapReduce的核心环节，它负责将Map端的输出数据传输到Reduce端。Shuffle过程可以分为Map端的Shuffle过程和Reduce端的Shuffle过程。
Map端的Shuffle过程
- 每个Map任务分配一个缓存。
- MapReduce默认100MB缓存。
- 设置溢写比例0.8。
- 分区默认采用哈希函数。
- 排序是默认的操作。
- 排序后可以合并（Combine）。
- 合并不能改变最终结果。
- 在Map任务全部结束之前进行归并。
- 归并得到一个大的文件，放在本地磁盘。
- 文件归并时，如果溢写文件数量大于预定值（默认是3）则可以再次启动Combiner，少于3不需要。
- JobTracker会一直监测Map任务的执行，并通知Reduce任务来领取数据。
合并（Combine）和归并（Merge）的区别：两个键值对<“a”,1>和<“a”,1>，如果合并，会得到<“a”,2>，如果归并，会得到<“a”,<1,1>>。
Reduce端的shuffle过程
图：Reduce端的shuffle过程
- Reduce任务通过RPC向JobTracker询问Map任务是否已经完成，若完成，则领取数据。
- Reduce领取数据先放入缓存，来自不同Map机器，先归并，再合并，写入磁盘。
- 多个溢写文件归并成一个或多个大文件，文件中的键值对是排序的。
- 当数据很少时，不需要溢写到磁盘，直接在缓存中归并，然后输出给Reduce。
MapReduce应用程序执行过程
图：MapReduce程序执行过程
MapReduce过程可以分为以下几个阶段：
- Split（分片）：将输入数据切分成多个分片。
- Map任务：对每个分片进行Map操作，生成中间结果。
- Shuffle过程：将Map端的输出数据传输到Reduce端。
- Reduce任务：对Shuffle过程产生的数据进行Reduce操作，生成最终结果。
MapReduce的设计理念是"分而治之"和"计算向数据靠拢"，这使得它能够高效地处理大规模数据集。MapReduce框架采用了Master/Slave架构，包括一个JobTracker和若干个TaskTracker。Hadoop框架是用Java实现的，但是MapReduce应用程序则不一定要用Java来写。