当前位置: 首页 > news >正文

优化yarn在任务执行时核数把控不准确的问题

核数不准这个事情是个概率问题,如果你碰见了,只能说你有点非欧,本质上是因为集群配置问题,默认时yarn不会去精准把控任务的核数,因为默认的资源计算方式是用实际内存去估算核数,这就导致如果大家配置任务时,如果实际内存占用比较多,yarn的资源计算可能结果就会和实际的产生误差,导致资源的使用出现各种问题

如果你想要让yarn准确的计算使用多少核,那么需要更改所有节点中的capacity-scheduler.xml配置文件

原配置文件中的
yarn.scheduler.capacity.resource-calculator
org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator
要修改为
yarn.scheduler.capacity.resource-calculator
org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

这样大家再去看的时候就会发现核数也是正确的了,其实yarn之所以这样,想想也好理解,核数是定死的,但是内存本质上受Hadoop最小申请资源数和规整化因子的原因,使得内存的使用其实是不饱满的,所有yarn时刻注意内存的理论使用情况,从而没有太多注意核数和continer,以此为程序员提供一个可参考的内存数字,不然内存不够会OOM的!!!

http://www.lryc.cn/news/377926.html

相关文章:

  • 2024年,收付通申请开通流程
  • Django使用django-apscheduler实现定时任务
  • python数据分析:修改数据
  • 【免费API推荐】:解锁无限创意,让您的应用更具竞争力(8)
  • 日语 11 12
  • STM32程序启动过程
  • 天才简史——Diederik P. Kingma与他的Adam优化器
  • 两个src案例分享
  • 宕机了, redis如何保证数据不丢?
  • 太速科技-基于XCVU9P+ C6678的100G光纤的加速卡
  • Maven:一个下载jar依赖失败的问题解决方案
  • Java 枚举的基本使用
  • Semaphroe + CountDown
  • 解读代理 IP差异:ISP 代理与住宅代理
  • maven-jar-plugin maven打包插件笔记
  • 云服务器部署Neo4j
  • day64 图论 图论理论基础 深搜 广搜 98. 所有可达路径
  • 从0进入微服务需要了解的基础知识
  • MySQL之复制(七)
  • Redis分片集群搭建
  • 请解释Java中的策略模式,并举例说明其应用场景和实现方式。请解释Java中的模板方法模式,并讨论其在实际项目中的应用。
  • Vim基础操作:常用命令、安装插件、在VS Code中使用Vim及解决Vim编辑键盘错乱
  • 基于Windows API DialogBox的对话框
  • 五十一、openlayers官网示例Layer Min/Max Resolution解析——设置图层最大分辨率,超过最大值换另一个图层显示
  • 24年计算机等级考试22个常见问题解答❗
  • obsidian制作自己的主题一文入门
  • 游戏心理学Day20
  • Serverless如何赋能餐饮行业数字化?乐凯撒思变之道
  • css系列:音频播放效果-波纹律动
  • WPF学习(1)--类与类的继承