当前位置: 首页 > news >正文

Hive on Tez 作业优化参数

常用参数

参数名

参数说明

默认值

所在配置文件

关联问题

hive.tez.container.size

Tez AppMaster向RM申请的container大小

-(单位:MB)

hive-site.xml

OOM

tez.runtime.io.sort.mb

这个参数设定了 Tez 运行排序操作时可用的最大内存。排序操作的内存大小也会影响到排序的效率和性能。如果设置的过小,可能会导致频繁的磁盘I/O操作,进而影响性能。如果设置的过大,可能会占用过多的内存,导致其它操作无法正常执行。

-(单位:MB)

tez-site.xml

OOM

tez.am.resource.memory.mb

Tez AppMaster内存大小

-(单位:MB)

http://www.lryc.cn/news/347115.html

相关文章:

  • flink mysql数据表同步API CDC
  • AI大模型探索之路-训练篇21:Llama2微调实战-LoRA技术微调步骤详解
  • 如何使用client-go构建pod web shell
  • AI工具摸索-关于写作(1)
  • 昂科烧录器支持O2Micro凹凸科技的电池组管理IC OZ7708
  • Spring Cloud Gateway详解
  • 信息系统项目管理师0103:初步可行性研究(7项目立项管理—7.2项目可行性研究—7.2.2初步可行性研究)
  • Linux 系统中,nl命令用于计算文件中的行号
  • 知从科技战略客户经理张志强受邀出席2024 AutoSec中国汽车网络安全与数据安全峰会
  • 2024.5.12 Pandas 基础语法day02
  • Stable Diffusion是什么?
  • Netty源码分析二NioEventLoop 剖析
  • chatGLM或chatgpt:什么是tokens以及如何计算tokens长度?
  • springcloudalibaba版本发布说明
  • Obsidian/Typora设置图床
  • 【RAG论文】RAG中半结构化数据的解析和向量化方法
  • git提交代码异常报错error:bad signature 0x00000000
  • 【FFmpeg】调用ffmpeg库进行RTMP推流和拉流
  • Multisim 14 常见电子仪器的使用和Multisim的使用
  • 【2024高校网络安全管理运维赛】巨细记录!
  • Nuxt.js实战:Vue.js的服务器端渲染框架
  • 提高Rust安装与更新的速度
  • 【linux软件基础知识】内核代码中的就绪队列简化示例
  • 《C++学习笔记---初阶篇6》---string类 上
  • mysql中的页和行
  • Vim常用快捷键
  • 力扣题目汇总分析 利用树形DP解决问题
  • GO语言核心30讲 实战与应用 (第二部分)
  • linux设置挂载指定的usb,自动挂载
  • 简站WordPress主题