当前位置: 首页 > news >正文

十二、MapReduce概述

1、MapReduce

(1)采用框架

MapReduce是“分散——>汇总”模式的分布式计算框架,可供开发人员进行相应计算

(2)编程接口:

~Map

~Reduce

其中,Map功能接口提供了“分散”的功能,由服务器分布式对数据进行处理。

Reduce功能接口提供了“汇总(聚合)”的功能,将分布式的处理结果汇总统计。

(3)调用

        用户如需使用MapReduce框架完成自定义需求的程序开发,只需要使用Java、python等编程语言,实现Map Reduce功能接口即可。

2、执行原理

(1)执行实例

        将任务分解为“分散”——>“任务”——>“汇总”。

        在这里,我们一共有四台服务器,其中三台服务器执行Map,最后一台服务器执行Reduce。

        对于三台执行Map的服务器,每台服务器统计其分到的数据的单词数量,最后将所有数据汇总给第四台服务器,由第四台服务器进行汇总操作。

(2)运行机制

3、总结

http://www.lryc.cn/news/258492.html

相关文章:

  • shell条件测试
  • python在线读取传奇列表,并解析为需要的JSON格式
  • 【docker 】 安装docker(centOS7)
  • 智能网联汽车场景数据图像标注要求及方法
  • 四. 基于环视Camera的BEV感知算法-BEVFormer
  • gin投票系统3
  • windows如何解决端口冲突(实用篇)
  • 「PPT 下载」Google DevFest Keynote | 复杂的海外网络环境下,如何提升连接质量
  • Logstash输入Kafka输出Es配置
  • Bash脚本处理ogg、flac格式到mp3格式的批量转换
  • Android 依据Build相关信息判断机型
  • 2024年甘肃省职业院校技能大赛信息安全管理与评估赛项一阶段样题一
  • ARM:作业3
  • 基于OpenCV+CNN+IOT+微信小程序智能果实采摘指导系统——深度学习算法应用(含python、JS工程源码)+数据集+模型(二)
  • *上位机的定义
  • 架构LAMP
  • vue实现浏览器不同分辨率下的不同样式,css的媒体查询与js判断当前浏览器宽度
  • CentOS7 安装包 MariaDB 10.4.x
  • js中箭头函数简单介绍
  • 分布式ID服务实践
  • YOLOv8改进 | 2023主干篇 | 利用RT-DETR特征提取网络PPHGNetV2改进YOLOv8(超级轻量化精度更高)
  • C现代方法(第26章)笔记——<stdarg.h>、<stdlib.h>和<time.h>标准库
  • CCKS2023-面向金融领域的主体事件检测-亚军方案分享
  • Linux下通过find找文件---通过修改时间查找(-mtime)
  • 图文教程:stable-diffusion的基本使用教程 txt2img(多图)
  • VisualSVN Server的安装全过程
  • Python 进阶(十六):二进制和ASCII码的转换(binascii 模块)
  • CSS Grid布局入门:从零开始创建一个网格系统
  • java--Collection的遍历方式
  • 现代雷达车载应用——第2章 汽车雷达系统原理 2.2节