当前位置: 首页 > news >正文

大数据课程G2——Hbase的基本架构

文章作者邮箱:yugongshiye@sina.cn              地址:广东惠州

 ▲ 本章节目的

⚪ 掌握Hbase的基本架构;

⚪ 掌握Hbase的读写流程;

⚪ 掌握Hbase的设计与优化;

一、基本架构

1. HRegion

1. 在HBase中,会将一个表从行键方向上进行切分,切分成1个或者多个HRegion。

2. 切分之后,每一个HRegion都会交给某一个HRegionServer来进行管理。

3. 一个表至少会包含1个HRegion,可以包含多个HRegion。

4. 在HBase中,行键是有序的,因此从行键方向上来进行的切分,所以HRegion之间的数据是不交叉的。

5. 因为HRegionServer会交给HRegionServer来管理,并且HRegion之间的数据相互不交叉,所以保证请求不会集中于某一个节点上而是会分散到不同的节点上。

6. 随着运行时间的推移,HRegion管理的数据会不断增多,达到指定条件的时候,会自动的进行分裂。

7. 每一个HRegion包含1个到多个HStore,HStore的数量由列族的数量来决定。

8. 每一个HStore都会包含1个memStore以及包含0到多个StoreFile/HFile。

2. Zookeeper的作用 

1. 在HBase中,Zookeeper充当了注册中心。

2. 当HBase启动之后,会自动的在Zookeeper上来注册一个/hbase节点。

3. 当Active HMaster启动之后,会自动的在Zookeeper上注册一个临时节点/hbase/master - 当Active HMaster宕机之后,这个临时节点就会消失,此时Zookeeper就会从Backup HMasters中选择最早注册的节点来切换为Active状态。

4. 当Backup HMaster启动之后,会自动的在Zookeeper的/hbase/backup-masters节点上注册一个临时子节点。

5. 当HRegionServer启动之后,也会自动的在Zookeeper的/hbase/rs节点下来注册子节点。

3. HMaster

1. 在HBase中,允许用户在任意一台安装了HBase的节点上来启动HMaster,理论上不限制HMaster的数量。

2. HMaster启动命令:

hbase-daemon.sh start master

3. 在HBase中,如果启动了多个HMaster,那么HMaster之间就会分为Active和Backup两种状态。

4. 如果启动多个HMaster,那么最先注册到Zookeeper上的HMaster就会成为Active状态,后注册到Zookeeper上的HMaster就会成为Backup状态。

5. 当Active HMaster接收到请求之后,需要考虑将数据同步给其他的Backup HMasters。同步的节点数量越多,此时效率就会越低。

6. 因此在HBase中,虽然理论上不限制HMaster的个数,但是实际过程中,HMaster的个数一般不会超过3个:1个Active HMaster+2个Backup HMasters。

7. Active HMaster会实时监控Zookeeper上/h

http://www.lryc.cn/news/111199.html

相关文章:

  • 微信小程序wx.getlocation接口权限申请总结
  • 简单游戏截图_可控截取内容1
  • Vue3_02 创建Vue3.0工程
  • Arduino ESP 8266 ESPAsyncWebServer AsyncCallbackJsonWebHandler
  • Source Insight_突出显示对选定字符的引用
  • 高等数学上册 第五章 定积分 知识点总结
  • 【无标题】uniapp引入萤石云 真机无法运行 踩坑集合
  • python函数
  • 【Linux】进程间通信——system V共享内存
  • 【数据结构】快速排序
  • 人机融合智能中的事实与价值
  • JVM | 从类加载到JVM内存结构
  • Golang之路---04 并发编程——WaitGroup
  • React(4)
  • STM32 CubeMX USB_(HID 鼠标和键盘)
  • [PM]敏捷开发之Scrum总结
  • 大数据Flink(五十七):Yarn集群环境(生产推荐)
  • web集群学习:源码安装nginx配置启动服务脚本
  • LNMP
  • Python网络爬虫在信息采集中的应用及教程
  • 云主机测试Flink磁盘满问题解决
  • iOS开发-NSOperationQueue实现上传图片队列
  • 通过 CCIP 构建跨链应用(5 个案例)
  • 基于 yolov8 的人体姿态评估
  • 计算机视觉(六)图像分类
  • 解决:vue通过params传参刷新页面参数丢失问题以及实现vue路由可选参数的解决办法
  • 将postman接口导出的json转换为markdown
  • 教您一招解决找素材困难好的方法
  • python_PyQt5开发验证K线视觉想法工具V1.2_批量验证
  • 应急响应-web后门(中间件)的排查思路