当前位置: 首页 > news >正文

HBase 计划外启动 Major Compaction 的原因

HBase 的 Compaction 有两个线程池,一个是为 Minor Compaction 准备的, 一个是为 Major Compaction 准备的,hbase.regionserver.thread.compaction.throttle 是决定 Compaction 请求放入哪个线程池的阈值,当待合并文件的总大小小于这个阈值时,就是一个 Minor Compaction,当待合并文件的总大小大于这个阈值时,就是一个 Major Compaction。这个阈值的默认值是:2.5 GB (2684354560 Bytes), 这是基于以下方式计算得到的:

2 × hbase.hstore.compaction.max(StoreFile文件数量,默认10个) × hbase.hregion.memstore.flush.size (StoreFile文件大小,默认128MB)= 2.5 GB

所以,有时候我们可能会发现:虽然集群已经 Disabled 了周期性自动 Compaction,但是在日志中依然会发现有:Completed major compaction ... 字样的信息,也就是说:确实发生了 Major Compaction,原因就是上面的提到的这种情况。

如果想避免这种计划外的 Compaction(全部手动触发),可以:

  1. 调大:hbase.regionserver.thread.compaction.throttle (默认是2.5GB)
  2. 调小:hbase.hstore.compaction.max
http://www.lryc.cn/news/187384.html

相关文章:

  • 设计模式-桥接模式
  • arcgis地形分析全流程
  • mapper.xml中的sql标签
  • 重启redis的步骤
  • 第二证券:如何选股票的龙头股?
  • 【华为OD机考B卷 | 100分】统计监控、需要打开多少监控器(JAVA题解——也许是全网最详)
  • Python Django 详解(基础)
  • C语言内存函数
  • 【Docker】Docker-compose及Consul多容器编排工具
  • Unity网络同步方案帧同步和状态同步
  • 【Monorepo实战】pnpm+turbo+vitepress构建公共组件库文档系统
  • CentOS 编译安装Redis
  • 可拓展的低代码全栈框架
  • C++11 智能指针
  • 二、WebGPU阶段间变量(inter-stage variables)
  • 【Linux】31个普通信号
  • Mac电脑交互式原型设计 Axure RP 8汉化最新 for mac
  • 在线免费无时长限制录屏工具 - 录猎在线版
  • c语言文件操作详解:fgetc,fputc,fgets,fputs,fscanf,,fprintf,fread,fwrite的使用和区别
  • Harmony装饰器
  • 如何加快Chrome谷歌浏览器下载速度?
  • 使用kubectl连接远程Kubernetes(k8s)集群
  • Kubernetes革命:云原生时代的应用编排和自动化
  • mysql.mongoDb,neo4j数据库对比
  • unity使用UniStorm 5.1.0.unitypackage增加天气
  • Flink实现kafka到kafka、kafka到doris的精准一次消费
  • Outlook屏蔽Jira AI提醒
  • 毛玻璃 has 选择器卡片悬停效果
  • [hive]解决group by 字段超过系统规定64个
  • 生成老年人的声音sox