当前位置: 首页 > news >正文

分布式资源调度——yarn 概述(资源调度基本架构和高可用的实现)

此文章是学习笔记,图片均来源于B站:哈喽鹏程

yarn详细介绍

  • 1、yarn 简介
    • 1.1 yarn的简介
    • 1.2 yarn 的基本架构
    • 1.3. yarn 的高可用
  • 2、yarn 调度策略、运维、监控
    • 2.1 yarn 的调度策略
      • 2.1.1 FIFO scheduler(先进先出)
      • 2.1.2 容量调度
      • 2.1.3 公平调度
    • 2.2 yarn 的运维与管理

1、yarn 简介

1.1 yarn的简介

1.2 yarn 的基本架构

1.3. yarn 的高可用

2、yarn 调度策略、运维、监控

2.1 yarn 的调度策略

2.1.1 FIFO scheduler(先进先出)

  • 调度策略:将所有任务放入一个队列,先进队列的先获得资源,排在后面的任务只有等待。
  • 缺点:a.资源利用率低,无法交叉完成任务;b.灵活性差,如紧急任务无法插队,耗时短的紧急任务只有等待。
    在这里插入图片描述

2.1.2 容量调度

  • 预分队列,比如预分两个队列a、b;
  • 再将每个队列预分资源比如:a(80%),b(20%)
  • 在这里插入图片描述
  • 如果资源a执行大作业,都在晚上进行。那么白天资源就浪费了。所以可以设置最大的资源占比。比如:白天的时候队列b 默认资源是20%,最多可以获得100% 的资源。
    在这里插入图片描述
  • 容量调度器去配置的时候,可以在yarn -site .xml文件里面,配置调度的方式

在这里插入图片描述
在这里插入图片描述

2.1.3 公平调度

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 yarn 的运维与管理

yarn application [command_options]
在这里插入图片描述

http://www.lryc.cn/news/495972.html

相关文章:

  • 网页开发的http基础知识
  • 学习方法的进一步迭代————4
  • 数据科学家创建识别假图像的工具
  • 使用 GORM 与 MySQL 数据库进行交互来实现增删改查(CRUD)操作
  • Day2 生信新手笔记: Linux基础
  • 001集—— 创建一个WPF项目 ——WPF应用程序入门 C#
  • 【C++】1___引用
  • 如何通过 JWT 来解决登录认证问题
  • 高效集成:将聚水潭数据导入MySQL的实战案例
  • Jenkins-基于 JNLP协议的 Java Web 启动代理
  • Qt数据库操作-QSqlQueryModel 的使用
  • C语言编程1.21波兰国旗问题
  • 如何利用微型5G网关为智慧无人矿车提供精确定位
  • 使用docker-compese部署SFTPGo详解
  • Ajax基础总结(思维导图+二维表)
  • Spring Task和WebSocket使用
  • 微信小程序 本地调试和vconsole可以 但在体验上页面不请求数据
  • QT:将QTableWidget内容写入txt文件中
  • 前端面试题(六)
  • 「Mac畅玩鸿蒙与硬件35」UI互动应用篇12 - 简易日历
  • Leetcode581. 最短无序连续子数组(HOT100)
  • HTML前端开发-- Flex布局详解及实战
  • 基于JWT跨语言开发分布式业务系统的挑战与实践:多语言协作的最佳方案
  • 二分法篇——于上下边界的扭转压缩间,窥见正解辉映之光(2)
  • 什么是 Kata Containers?
  • SpringMvc项目配置RabbitMq
  • shell编程(4)脚本与用户交互以及if条件判断
  • vue2组件跨层级数据共享provide 和 inject
  • springboot/ssm校园闲置物品交易系统ava大学生二手闲置交易平台web二手源码
  • Redis实现限量优惠券的秒杀