Hadoop——分布式计算

一、分布式计算概述

1. 什么是计算、分布式计算？

• 计算：对数据进行处理，使用统计分析等手段得到需要的结果
• 分布式计算：多台服务器协同工作，共同完成一个计算任务

1. 2. 分布式计算常见的2种工作模式

• 分散->汇总  （MapReduce就是这种模式）

1. 将数据分片，多台服务器各自负责一部分数据处理
2.  然后将各自的结果，进行汇总处理
3.  最终得到想要的计算结果

• 中心调度->步骤执行 （大数据体系的Spark、Flink等是这种模式）

• 1. 由一个节点作为中心调度管理者

  2. 将任务划分为几个具体步骤

  3. 管理者安排每个机器执行任务

  4. 最终得到结果数据

 二、MapReduce概述

MapReduce是“分散->汇总”模式的分布式计算框架，开发人员开发相关程序进行分布式数据计算。

MapReduce提供了2个编程接口：

• Map

• Reduce