当前位置: 首页 > news >正文

hbase优化:客户端、服务端、hdfs

hbase优化
一.读优化
1.客户端:

	scan。cache 设置是否合理:大scan场景下将scan缓存从100增大到500或者1000,用以减少RPC次数使用批量get进行读取请求离线批量读取请求设置禁用缓存,scan.setBlockCache(false)以指定列族或者列进行精确查找的尽量指定查找

2.服务器:

	读请求是否均衡::RowKey必须进行散列化处理(比如MD5散列),同时建表必须进行预分区处理BlockCache是否设置合理:VM内存配置量 < 20G,BlockCache策略选择LRUBlockCache;否则选择BucketCache策略的offheap模式HFile文件是否太多:hbase.hstore.compactionThreshold设置不能太大,默认是3个;设置需要根据Region大小确定,通常可以简单的认为hbase.hstore.compaction.max.size = RegionSize / hbase.hstore.compactionThresholdCompaction是否消耗系统资源过多:(1)Minor Compaction设置:hbase.hstore.compactionThreshold设置不能太小,又不能设置太大,因此建议设置为5~6;hbase.hstore.compaction.max.size = RegionSize / hbase.hstore.compactionThreshold(2)Major Compaction设置:大Region读延迟敏感业务( 100G以上)通常不建议开启自动Major Compaction,手动低峰期触发。小Region或者延迟不敏感业务可以开启Major Compaction,但建议限制流量

3.列簇:是否过多、
是否使用布隆过滤器:任何业务都应该设置Bloomfilter,通常设置为row就可以,除非确认业务随机查询类型为row+cf,可以设置为rowcol
是否设置ttl

4.hdfs优化:

 启Short Circuit Local Read功能开启Hedged Read功能. 数据本地率是否太低:避免Region无故迁移,比如关闭自动balance、RS宕机及时拉起并迁回飘走的Region等;在业务低峰期执行major_compact提升数据本地率

二、写优化
是否需要写WAL?WAL是否需要同步写入
用批量put进行写入请求
在业务可以接受的情况下开启异步批量提交,使用方式:setAutoFlush(false)
:在Num(Region of Table) < Num(RegionServer)的场景下切分部分请求负载高的Region并迁移到其他RegionServer
检查RowKey设计以及预分区策略,保证写入请求均衡
写入KeyValue数据是否太大

http://www.lryc.cn/news/103915.html

相关文章:

  • docker安装memcached
  • Redis 客户端有哪些?
  • smbms 超市订单管理系统设计与实现计划表
  • 如何解决制造业数字化改造的障碍?
  • 代码随想录算法训练营day49
  • 云计算与大数据——部署Kubernetes集群+完成nginx部署(超级详细!)
  • Maven 打包项目后,接口识别中文乱码
  • 计算机视觉项目中的文件批量操作与文件批量预处理
  • PHP数组转对象和对象转数组
  • 前后端分离开发中的传参
  • mount: wrong fs type, bad option, bad superblock报错 ubuntu
  • 【图像分类】CNN+Transformer结合系列.3
  • IDA分析实例android_crackme/EasyJNI/Transformers/pingan2
  • 拿捏--->求一元二次方程的根
  • 深入浅出之Docker Compose详解
  • spring5源码篇(12)——spring-mvc请求流程
  • 风辞远的科技茶屋:来自未来的信号枪
  • MongoDB教程-8
  • Redis 理论部分
  • Android—Monkey用法
  • 几个影响 cpu cache 性能因素及 cache 测试工具介绍
  • Java从入门到精通(二)· 基本语法
  • 云安全攻防(三)之 面向云原生环境的安全体系
  • BGP汇总和破解水平分割
  • BUG:pm2启动verdaccio报错:Invalid or unexpected toke
  • Zookeeper笔记
  • 【视觉SLAM入门】5.1. 特征提取和匹配--FAST,ORB(关键点描述子),2D-2D对极几何,本质矩阵,单应矩阵,三角测量,三角化矛盾
  • 【能量管理系统( EMS )】基于粒子群算法对光伏、蓄电池等分布式能源DG进行规模优化调度研究(Matlab代码实现)
  • 绘制Circos基因圈图
  • openGauss学习笔记-26 openGauss 高级数据管理-约束