用通俗易懂的大白话讲解Map/Reduce原理

用通俗易懂的大白话讲解Map/Reduce原理

引用

CSDN

1.

https://blog.csdn.net/oppo62258801/article/details/72884633

MapReduce是大数据处理领域的核心技术之一，它通过将计算任务分解为Map和Reduce两个阶段，实现了大规模数据的并行处理。本文将通过生活化的比喻和详细的步骤分解，帮助读者理解这个复杂的分布式计算模型。

什么是MapReduce？

MapReduce是一种编程模型，用于处理和生成大规模数据集。它将计算任务分解为两个主要阶段：Map阶段和Reduce阶段。

用生活化的例子理解MapReduce

假设你想制作一瓶混合辣椒酱，需要用到薄荷、洋葱、番茄、辣椒和大蒜。你会怎么做呢？

1. Map阶段（切碎）：

• 你将薄荷叶、洋葱、番茄、辣椒和大蒜分别切碎。这个过程就像是Map操作，将每个食材单独处理。
• 每个食材的处理都是一个独立的Map操作，可以并行进行。

2. Reduce阶段（研磨）：

• 将所有切碎的食材放入研磨机中研磨，最终得到一瓶混合辣椒酱。这个过程就像是Reduce操作，将多个Map结果合并成最终输出。

MapReduce的工作原理

MapReduce的核心是两个函数：map函数和reduce函数。

map函数

• 输入：一个键值对（key-value pair）
• 输出：一组中间键值对
• 作用：对输入数据进行处理，产生中间结果

reduce函数

• 输入：一个键和相关的一组值
• 输出：一组规模更小的值（通常只有一个或零个值）
• 作用：对map函数产生的中间结果进行汇总和合并

MapReduce的工作流程

1. 输入数据划分：

• MapReduce库将输入文件划分为多个分片（split），每个分片通常为16MB到64MB。

2. Map阶段：

• 每个Map作业处理一个分片，从输入数据中抽取出键值对。
• 每个键值对作为参数传递给map函数，map函数产生的中间键值对被缓存在内存中。
• 缓存的中间键值对定期写入本地磁盘，并分为多个区，每个区对应一个Reduce作业。

3. Shuffle阶段：

• 中间键值对的位置被通报给Master，Master负责将信息转发给Reduce worker。
• Reduce worker读取所有它负责的中间键值对，并进行排序，使得相同键的键值对聚集在一起。

4. Reduce阶段：

• 遍历排序后的中间键值对，对于每个唯一的键，都将键与关联的值传递给reduce函数。
• reduce函数产生的输出会添加到这个分区的输出文件中。

5. 输出结果：

• 最终输出放在R个分区的输出文件中，每个分区对应一个Reduce作业。

MapReduce的应用示例

假设我们想统计过去10年计算机论文中出现最多的几个单词：

1. Map阶段：

• 对每篇论文进行遍历，遇到每个单词w时，产生一个中间键值对<w, "1">。

2. Reduce阶段：

• 对于每个单词w，将所有"w"对应的"1"进行累加，得到单词w的出现次数。

总结

MapReduce是一种编程思想，可以使用多种编程语言实现，如Java、C++等。它通过将计算任务分解为Map和Reduce两个阶段，实现了大规模数据的并行处理。在大数据处理领域，MapReduce已经成为一个基础且重要的技术概念。