当前位置: 首页 > news >正文

【大数据学习 | 面经】yarn的资源申请和分配的单位-Container

在yarn中,资源的申请和分配是以container为单位进行的,而不是直接以application和task为单位。

每个提交到yarn上的应用程序(application)都有一个对应的ApplicationMaster(AM)。这个AM负责与ResourceManager(RM)通信,以请求容器(containers),这些容器用于运行应用程序的任务(tasks)。因此,虽然资源是以container为单位进行申请的,但这是在application级别进行管理的,并且是为了执行特定的tasks。

应用程序提交的具体流程:

  1. 用户提交一个application到yarn集群。
  2. ResourceManager启动该application的ApplicationMaster。
  3. ApplicationMaster根据application的需求,向ResourceManager请求所需要的资源(以containers的形式)。
  4. 一旦ResourceManager分配了container,ApplicationManager就可以在这些container中启动tasks执行。

总结就是:application申请和资源分配的单位是container,整个执行过程是application驱动,并且是为了满足task的执行需求。

http://www.lryc.cn/news/498886.html

相关文章:

  • WiFi受限不再愁,电脑无网络快速修复指南
  • 【组件封装】uniapp vue3 封装一个完整的Tabs(标签页)组件教程,功能由简到杂实现讲解。
  • TDesign:Picker 选择器
  • 【AI赋能心理学论文创作策略】第十二章 AI辅助临床启示撰写指南
  • Pynsist 打包应用 和 PyWebIO 构建Web 应用
  • git 使用配置
  • 记一次Mysql的SELECT command denied to user...报错(非权限问题)
  • element-plus的el-tree的双向绑定
  • 代码随想录-算法训练营day41(动态规划04:01背包,01背包滚动数组,分割等和子集)
  • c#中context.SaveChanges()方法
  • 李飞飞首个“空间智能”模型发布:一张图,生成一个3D世界 | LeetTalk Daily
  • Node.js简单接口实现教程
  • AIGC 012-Video LDM-更进一步,SD作者将LDM扩展到视频生成任务!
  • windows文件下换行, linux上不换行 解决CR换行符替换为LF notepad++
  • npm, yarn, pnpm之间的区别
  • 静态链接和动态链接的特点
  • Mac曲线救国实现Bandizip右键一级菜单
  • 进度与预算
  • 【教程】创建NVIDIA Docker共享使用主机的GPU
  • CEEMDAN-CPO-VMD二次分解(CEEMDAN+冠豪猪优化算法CPO优化VMD)
  • 图论理论基础和存储方式的实现
  • 【实分析】【二】2.2 (c)自然数的序
  • STM32串口接收与发送(关于为什么接收不需要中断而发生需要以及HAL_UART_Transmit和HAL_UART_Transmit_IT的区别)
  • k8s 之storageclass使用nfs动态申请PV
  • vue移动端实现下载(截图)功能
  • 【Golang】Golang基础语法之面向对象:结构体和方法
  • 【西门子PLC.博途】——在S71200里写时间设置和读取功能块
  • 位运算(一)位运算简单总结
  • 工厂方法模式的理解和实践
  • C# 设计模式--观察者模式 (Observer Pattern)