线上HBase client返回超时异常分析 HBase callTimeout=60000

问题现象

HBase client直接返回超时异常 HBase callTimeout=60000, callDuration=60301: row ‘12649160863966c2790195059018040900010003320’
on table ‘Z_UPA’ at region=Z_UPA,1213d1a56,1184027415643. ba7224f83dbb09591a74b7059f17., hostname=abcd,60020,8918639505019,
seqNum=55677989”并没有触发内部重试机制，只有在客户端重试之后，才可返回正常结果。

问题分析

询问行方得知集群进行了缩容操作。
因为有一些节点下线，节点下线之后，namenode元数据是根据一定规则进行更新的，且需要花费一定时间完成下线节点信息的更新。
在更新完成前HBase依然会从下线节点进行获取块操作，跟新规则：
NameNode 判断一个 DataNode 是否心跳超时通常认为当DataNode 超过
dfs.namenode.heartbeat.recheck-interval(5分钟) + 10 * dfs.heartbeat.interval(3s)
时间未发送心跳时，就判定该 DataNode 出现故障。从而更新元数据。

hbase通过scan等触发DFSClient文件访问时，