【大数据学习 | HBASE高级】region split机制和策略
1. region split机制
HRegionServer拆分region的步骤是，先将该region下线，然后拆分，将其子region加入到hbase:meta表中，再将他们加入到原本的HRegionServer中，最后汇报Master。
split前：hbase:meta表有: region_p
-
在region_p对应的hdfs目录下生成.splits目录，用于保存分割后的region信息，如：tablename/region_p/.splits
-
关闭region_p，数据写入并触发flush操作，将写入region的数据全部持久化到磁盘。
- 在region_p对应的.splits目录下，创建两个子目录，并在里面创建两个子region的引用文件。
| .split引用文件目录 |
|---|
| tablename/region_p/.splits/region1/region1引用文件 （splitkey, true） |
| tablename/region_p/.splits/region2/region2引用文件 （splitkey, false） |
引用文件用于记录从哪分割（splitkey）和是上半部分（true）还是下半部分（false）
- region_p 分裂为两个子region后，将.split目录下的region1、region2 的目录 copy 到region_p的同级目录下，形成两个新的region。
| tablename目录结构 |
|---|
| tablename/region_p/.splits |
| tablename/region1/cf/region1引用文件（splitkey, true） |
| tablename/region2/cf/region2引用文件（splitkey, false） |
- 把region_p在hbase:meta表标记下线和split，把两个子region添加到hbase:mate表。
| location | split | offline | split | |
|---|---|---|---|---|
| region_p | /xxxx/xxxx/xxxx/ | true | true | region1,region2 |
| region1 | /xxxx/xxxx/xxxx/ | false | false | |
| region2 | /xxxx/xxxx/xxxx/ | false | false |
-
开启两个子region，可以接收请求了。此时还没有拉取region_p split的数据。
-
当region发生major compact时，会把父region的split数据拉取到子region，并和当前的子region进行合并,子region拉取完数据后，把引用文件删除。
- hbase会启动线程检查父region是否达到删除的条件，如果达到就删除父region。
删除条件：父region的元数据是split状态and所有子region下的引用文件已删除。
2. region split策略
可以通过设置RegionSplitPolicy的实现类来指定拆分策略，RegionSplitPolicy类的实现类有：
ConstantSizeRegionSplitPolicyIncreasingToUpperBoundRegionSplitPolicyDelimitedKeyPrefixRegionSplitPolicyKeyPrefixRegionSplitPolicy
DisabledRegionSplitPolicy // 不拆分其中：
ConstantSizeRegionSplitPolicy：(一刀切)【0.94前】
当一个region中最大store大小大于设置阈值（hbase.hregion.max.filesize 默认10G）就会触发切分，每10s检查一次region大小,hbase.server.thread.wakefrequency=10000。
- 设置阈值大些，对大表友好，但对小表并不友好，可能小表不会分裂；
- 如果阈值小些，对小表友好，但对大表并不友好，可能会大量分裂；
IncreasingToUpperBoundRegionSplitPolicy【0.94-2.0】：
默认使用的拆分策略，Region的前几次拆分的阈值不是固定的数值，是需要进行计算得到，当同一table在同一regionserver上的region数量在[0,100)之间时按照如下的计算公式算，否则按照ConstantSizeRegionSplitPolicy策略计算：
Min (R^3 "hbase.hregion.memstore.flush.size"2, "hbase.hregion.max.filesize")
-
R为同一个table中在同一个regionserver中region的个数
-
hbase.hregion.memstore.flush.size默认为128M
- hbase.hregion.max.filesize默认为10G
第一次分裂： 1*1*1*128*2=256M
第二次分裂：8*128*2 = 2G
第三次分裂： 27*128*2 = 6.75G
SteppingSplitPolicy【2.x版本】：
这种策略和IncreasingToUpperBoundRegionSplitPolicy策略很相似，但更简单，第一个Region容量的上限为256M，之后都是10G，这个策略考虑到IncreasingToUpperBoundRegionSplitPolicy会多拆分几个Region(256M -> 2G -> 6.75G -> 10G)，所以进行了简化。