当前位置: 首页 > news >正文

Hadoop集群修改yarn队列

1.修改默认的default队列参数

注意:

yarn.scheduler.capacity.root.队列名.capacity总和不能超过100

  <property><name>yarn.scheduler.capacity.root.queues</name><value>default,hive,spark,flink</value><description>The queues at the this level (root is the root queue).</description></property><property><name>yarn.scheduler.capacity.root.default.capacity</name><value>25</value><description>Default queue target capacity.</description></property>

2.hive队列

<property><name>yarn.scheduler.capacity.root.hive.capacity</name><value>50</value><description>hive队列的容量为50%</description>
</property><property><name>yarn.scheduler.capacity.root.hive.user-limit-factor</name><value>1</value><description>一个用户最多能够获取该队列资源容量的比例</description>
</property><property><name>yarn.scheduler.capacity.root.hive.maximum-capacity</name><value>80</value><description>hive队列的最大容量</description>
</property><property><name>yarn.scheduler.capacity.root.hive.state</name><value>RUNNING</value>
</property><property><name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name><value>*</value><description>访问控制,控制谁可以将任务提交到该队列</description>
</property><property><name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name><value>*</value><description>访问控制,控制谁可以管理(包括提交和取消)该队列的任务</description>
</property><property><name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name><value>*</value>
<description>访问控制,控制用户可以提交到该队列的任务的最大优先级</description>
</property><property><name>yarn.scheduler.capacity.root.hive.maximum-application-lifetime</name><value>-1</value><description>hive队列中任务的最大生命时长,-1表示时间无限长</description>
</property><property><name>yarn.scheduler.capacity.root.hive.default-application-lifetime</name><value>-1</value><description>default队列中任务的最大生命时长</description>
</property>

 3.spark队列

<property><name>yarn.scheduler.capacity.root.spark.capacity</name><value>25</value><description>spark队列的容量为25%</description>
</property><property><name>yarn.scheduler.capacity.root.spark.user-limit-factor</name><value>1</value><description>一个用户最多能够获取该队列资源容量的比例</description>
</property><property><name>yarn.scheduler.capacity.root.spark.maximum-capacity</name><value>80</value><description>spark队列的最大容量</description>
</property><property><name>yarn.scheduler.capacity.root.spark.state</name><value>RUNNING</value>
</property><property><name>yarn.scheduler.capacity.root.spark.acl_submit_applications</name><value>*</value><description>访问控制,控制谁可以将任务提交到该队列</description>
</property><property><name>yarn.scheduler.capacity.root.spark.acl_administer_queue</name><value>*</value><description>访问控制,控制谁可以管理(包括提交和取消)该队列的任务</description>
</property><property><name>yarn.scheduler.capacity.root.spark.acl_application_max_priority</name><value>*</value>
<description>访问控制,控制用户可以提交到该队列的任务的最大优先级</description>
</property><property><name>yarn.scheduler.capacity.root.spark.maximum-application-lifetime</name><value>-1</value><description>spark队列中任务的最大生命时长,-1表示时间无限长</description>
</property><property><name>yarn.scheduler.capacity.root.spark.default-application-lifetime</name><value>-1</value><description>default队列中任务的最大生命时长</description>
</property>

4.flink队列

<property><name>yarn.scheduler.capacity.root.flink.capacity</name><value>25</value><description>flink队列的容量为25%</description>
</property>
<property><name>yarn.scheduler.capacity.root.flink.user-limit-factor</name><value>1</value><description>一个用户最多能够获取该队列资源容量的比例</description>
</property><property><name>yarn.scheduler.capacity.root.flink.maximum-capacity</name><value>80</value><description>flink队列的最大容量</description>
</property><property><name>yarn.scheduler.capacity.root.flink.state</name><value>RUNNING</value>
</property><property><name>yarn.scheduler.capacity.root.flink.acl_submit_applications</name><value>*</value><description>访问控制,控制谁可以将任务提交到该队列</description>
</property><property><name>yarn.scheduler.capacity.root.flink.acl_administer_queue</name><value>*</value><description>访问控制,控制谁可以管理(包括提交和取消)该队列的任务</description>
</property><property><name>yarn.scheduler.capacity.root.flink.acl_application_max_priority</name><value>*</value>
<description>访问控制,控制用户可以提交到该队列的任务的最大优先级</description>
</property><property><name>yarn.scheduler.capacity.root.flink.maximum-application-lifetime</name><value>-1</value><description>flink队列中任务的最大生命时长,-1表示时间无限长</description>
</property><property><name>yarn.scheduler.capacity.root.flink.default-application-lifetime</name><value>-1</value><description>default队列中任务的最大生命时长</description>
</property>
http://www.lryc.cn/news/470685.html

相关文章:

  • 【GPIO】2.ADC配置错误,还是能得到电压数据
  • css-元素居中方式
  • redis内存打满了怎么办?
  • 决策算法的技术分析
  • 【Python爬虫】获取汽车之家车型配置附代码(2024.10)
  • JVM 加载 class 文件的原理机制
  • NumPy学习第九课:字符串相关函数
  • 卷积神经网络(CNNs)在处理光谱特征的序列属性时表现不佳
  • 【IC】MCU的Tick和晶振频率
  • 从0到1学习node.js(npm)
  • 【STM32 Blue Pill编程实例】-OLED显示DS18B20传感器数据
  • STM32 从0开始系统学习3 启动流程
  • 交换机:端口安全与访问控制指南
  • 【C++ | 数据结构】八大常用排序算法详解
  • Oracle 第7章:数据完整性约束
  • 【核心】静态/动态全覆盖路径规划相关技术研究
  • Java 实现集成 Google 邮箱第三方登录实践
  • 人人都在学的智能体(AI Agent),带你轻松入门!
  • 如何在Windows环境下开启Kibana的非localhost访问
  • 蓝桥杯 单片机 DS1302和DS18B20
  • 前端css-媒体查询@media以及常见使用例子
  • centos系统防火墙SELinux设置指令
  • 记录如何在RK3588板子上跑通paddle的OCR模型
  • 通过AWS Bedrock探索 Claude 的虚拟桌面魔力:让 AI 代替你动手完成任务!
  • Java面向对象编程高阶(一)
  • JavaScript 中 let 和 var 的区别
  • React第十一章(useReducer)
  • VUE3实现古典音乐网站源码模板
  • 1.nginx安装【Docker】
  • Linux -- 共享内存(1)