当前位置: 首页 > news >正文

Hadoop学习:Yarn

1.YARN介绍
  • 一个通用的资源管理系统和调度平台
    在这里插入图片描述
    在这里插入图片描述
  • YARN不分配磁盘,由HDFS分配
    在这里插入图片描述
  • 相当于一个分布式的操作系统平台,为上层MR等计算程序提供运算所需要的资源(内存、CPU等)
2.YARN三大组件

在这里插入图片描述

  • 不要忘记AppMaster,他是程序内部的老大,监督程序的运行,在MR钟是MRAppMaster
3.程序提交YARN集群交互流程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.资源调度器Scheduler和调度策略
  • 在YARN中,负责给应用分配资源的是Scheduler,它是RM的核心组件之一

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.容量调度与公平调度区别
  • 都比FIFO好:**允许多队列并行执行任务,**不会出现一个大任务一直抢占资源让之后的任务一直等待
  • 容量调度在每个队列内部使用FIFO策略,先到先服务;公平调度按缺额排列,缺额大者优先
  • 容量调度每个队列中同一时间只有会一个任务在执行;而公平调度同一时间一个队列中可能有多个任务
http://www.lryc.cn/news/38229.html

相关文章:

  • Spring Data JPA
  • java List报错Method threw ‘java.lang.UnsupportedOperationException‘ exception. 解决
  • 数据结构-用栈实现队列
  • 第十四章 从 Windows 客户端控制 IRIS
  • 数据结构---双链表
  • Windows 环境安装Scala详情
  • C++ Qt自建网页浏览器
  • Flink从入门到精通系列(四)
  • Nginx 配置实例-反向代理案例一
  • 为什么北欧的顶级程序员数量远超中国?
  • vuex getters的作用和使用(求平均年龄),以及辅助函数mapGetters
  • 20230311给Ubuntu18.04下的GTX1080M安装驱动
  • 2023腾讯面试真题:
  • 23种设计模式-建造者模式(Android应用场景介绍)
  • English Learning - L2 语音作业打卡 双元音 [ʊə] [eə] Day17 2023.3.9 周四
  • 【动态规划】多重背包问题,分组背包问题
  • JAVA面向对象特征之——封装
  • 【数据结构】二叉树相关OJ题
  • Windows安装Hadoop
  • ICG-Hydrazide,吲哚菁绿-酰肼,ICG-HZ结构式,溶于二氯甲烷等部分有机溶剂,
  • 【论文阅读】浏览器扩展危害-Helping or Hindering? How Browser Extensions Undermine Security
  • 线性和非线性最小二乘问题的常见解法总结
  • 数据库知识点
  • Maven打包构建Docker镜像并推送到仓库
  • TypeScript 基础学习之泛型和 extends 关键字
  • 《数据分析-JiMuReport04》JiMuReport报表设计入门介绍-页面优化
  • 带头双向循环链表及链表总结
  • (八十)MySQL是如何基于各种规则去优化执行计划的?(中)
  • 第一章:命题与命题公式
  • c/c++开发,无可避免的操作符operator(篇一),操作符重载