当前位置： 首页 > news >正文

Hadoop生态圈框架部署 伪集群版（五）- HBase伪分布式部署

news 2025/7/29 12:13:34

文章目录

  • 前言
  • 一、Hbase伪分布式部署（手动部署）
    • 1. 下载Hbase
    • 2. 上传安装包
    • 3. 解压HBase安装包
    • 4. 配置HBase配置文件
      • 4.1 修改hbase-env.sh配置文件
      • 4.2 修改hbase-site.xml配置文件
      • 4.3 修改regionservers配置文件
      • 4.4 删除hbase中slf4j-reload4j-1.7.33.jar文件
    • 5. 配置HBase系统环境变量
    • 8. 启动HBase伪集群
    • 9. 进入HBase客户端
    • 10. 访问 HBase 的 Web UI 页面
      • 10.1 访问 Master 的 UI 页面
      • 10.2 访问 RegionServer 的 UI 页面
    • 11. 停止HBase伪集群
    • 注意
  • 二、使用shell脚本自动部署Hbase伪分布式（选看）
    • 1. 下载Hbase
    • 2. 上传安装包
    • 3. 使用shell脚本自动部署Hbase伪分布式
      • 3.1 创建 hbase_install_config.sh 脚本文件并添加脚本内容
      • 3.2 添加可执行权限
      • 3.3 执行脚本
    • 4. 加载环境变量
    • 5. 启动HBase伪集群
    • 6. 进入HBase客户端
    • 7. 访问 HBase 的 Web UI 页面
      • 7.1 访问 Master 的 UI 页面
      • 7.2 访问 RegionServer 的 UI 页面
    • 8. 停止HBase伪集群

前言

本文将详细介绍HBase的伪分布式部署过程，包括从下载和安装到配置和启动的每一个步骤。通过手动部署，读者将能够深入理解HBase的配置文件及其参数设置，从而为后续的集群管理和应用开发打下坚实的基础。

一、Hbase伪分布式部署（手动部署）

1. 下载Hbase

点击下载 hbase2.4.18安装包：https://mirrors.huaweicloud.com/apache/hbase/2.4.18/hbase-2.4.18-bin.tar.gz

2. 上传安装包

通过拖移的方式将下载的HBase安装包hbase-2.4.18-bin.tar.gz上传至/export/software目录。

在这里插入图片描述

或者可以使用wget命令直接下载的Hbase安装包hbase-2.4.18-bin.tar.gz到/export/software目录。

wget https://mirrors.huaweicloud.com/apache/hbase/2.4.18/hbase-2.4.18-bin.tar.gz -P /export/software/

3. 解压HBase安装包

上传完成后将HBase安装包通过解压方式安装至/export/servers目录。

tar -zxvf /export/software/hbase-2.4.18-bin.tar.gz -C /export/servers

在这里插入图片描述

4. 配置HBase配置文件

4.1 修改hbase-env.sh配置文件

修改hbase运行时环境变量配置文件/export/servers/hbase-2.4.18/conf/hbase-env.sh，执行如下命令添加配置。

echo 'export JAVA_HOME=/export/servers/jdk1.8.0_421' >> /export/servers/hbase-2.4.18/conf/hbase-env.sh
echo 'export HBASE_MANAGES_ZK=false' >> /export/servers/hbase-2.4.18/conf/hbase-env.sh
echo 'export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=true' >> /export/servers/hbase-2.4.18/conf/hbase-env.sh

在这里插入图片描述

4.2 修改hbase-site.xml配置文件

修改hbase配置文件/export/servers/hbase-2.4.18/conf/hbase-site.xml，执行如下命令修改配置。

cat >/export/servers/hbase-2.4.18/conf/hbase-site.xml <<EOF
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.tmp.dir</name><value>/export/data/hbase2.4.18</value></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>false</value></property><property><name>hbase.rootdir</name><value>hdfs://hadoop:9000/hbase</value></property><property><name>hbase.zookeeper.quorum</name><value>hadoop:2181</value></property><property><name>hbase.master.port</name><value>16000</value></property><property><name>hbase.master.info.port</name><value>16010</value></property><property><name>hbase.regionserver.port</name><value>16020</value></property><property><name>hbase.regionserver.info.port</name><value>16030</value></property>
</configuration>
EOF

在这里插入图片描述

4.3 修改regionservers配置文件

修改/export/servers/hbase-2.4.18/conf/regionservers配置文件，配置RegionServer 节点，执行如下命令修改配置。

cat >/export/servers/hbase-2.4.18/conf/regionservers <<EOF
hadoop
EOF

在这里插入图片描述

4.4 删除hbase中slf4j-reload4j-1.7.33.jar文件

执行如下命令删除hbase中slf4j-reload4j-1.7.33.jar文件，解决与hadoop中另一个日志jar包相同类的冲突。

rm -f /export/servers/hbase-2.4.18/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar

在这里插入图片描述

5. 配置HBase系统环境变量

使用echo命令向环境变量配置文件/etc/profile追加环境变量内容。

echo >> /etc/profile
echo 'export HBASE_HOME=/export/servers/hbase-2.4.18' >> /etc/profile
echo 'export PATH=$PATH:$HBASE_HOME/bin' >> /etc/profile

配置环境变量后，需要使用如下命令加载环境变量配置文件/etc/profile，使用HBase的环境变量生效。

source /etc/profile

在这里插入图片描述

8. 启动HBase伪集群

由于 HBase 使用 HDFS 作为底层文件存储系统，使用 ZooKeeper 来实现多个 RegionServer 之间的一致性和协调，所以在启动 HBase 集群之前需要先启动 Hadoop 和 Zookeeper。

启动 hadoop 伪分布式。

start-all.sh

在这里插入图片描述

启动单机 zookeeper 并查看状态是否正常。

zkServer.sh start
zkServer.sh status

在这里插入图片描述

执行如下命令启动HBase伪分布式。

start-hbase.sh

在这里插入图片描述

9. 进入HBase客户端

执行如下命令进入 HBase 的命令行客户端。

hbase shell

测试能否正常使用HBase命令。

create 't1','f1'

在这里插入图片描述

退出HBase命令行客户端。

exit

在这里插入图片描述

10. 访问 HBase 的 Web UI 页面

10.1 访问 Master 的 UI 页面

浏览器输入http://192.168.121.100:16010即可访问 Master 的 UI 页面。

在这里插入图片描述

10.2 访问 RegionServer 的 UI 页面

浏览器输入http://192.168.121.100:16030即可访问 RegionServer 的 UI 页面。

在这里插入图片描述

11. 停止HBase伪集群

如果要停止HBase伪集群运行，执行如下命令停止HBase伪集群。

stop-hbase.sh

在这里插入图片描述

单独停止 master 和 regionserver
若执行stop-hbase.sh命令不能成功停止hbase集群，则执行如下命令单独停止master。

hbase-daemon.sh stop master

执行如下命令单独停止regionserver。

hbase-daemon.sh stop regionserver

注意

如果安装过程出现问题，需要重新安装，执行如下命令删除对应数据目录。若HBase已经启动需要先停止HBase伪分布式运行。

hbase-daemon.sh stop master
hbase-daemon.sh stop regionserver
rm -rf /export/data/hbase2.4.18
hdfs dfs -rm -r /hbase
zkCli.sh
deleteall /hbase
quit

二、使用shell脚本自动部署Hbase伪分布式（选看）

1. 下载Hbase

点击下载 hbase2.4.18安装包：https://mirrors.huaweicloud.com/apache/hbase/2.4.18/hbase-2.4.18-bin.tar.gz

2. 上传安装包

通过拖移的方式将下载的HBase安装包hbase-2.4.18-bin.tar.gz上传至/export/software目录。

在这里插入图片描述

3. 使用shell脚本自动部署Hbase伪分布式

3.1 创建 hbase_install_config.sh 脚本文件并添加脚本内容

执行如下命令创建hbase_install_config.sh脚本文件

touch /export/shell/hbase_install_config.sh

添加如下内容：

#!/bin/bash# 定义常量
HBASE_VER="2.4.18"
HBASE_TAR="hbase-${HBASE_VER}-bin.tar.gz"
DATA_DIR="/export/data"
SOFTWARE_DIR="/export/software"
SERVERS_DIR="/export/servers"# 检查hbase是否已解压
if [ -d "${SERVERS_DIR}/hbase-${HBASE_VER}" ]; thenecho "hadoop安装程序已存在，正在删除原安装程序目录..."rm -rf "${SERVERS_DIR}/hbase-${HBASE_VER}"
fi# 检查hbase安装包是否存在
if [ -f ${SOFTWARE_DIR}/${HBASE_TAR} ]; thenecho "hbase安装包存在，正在解压安装包..."# 解压HBase安装包tar -zxvf ${SOFTWARE_DIR}/${HBASE_TAR} -C ${SERVERS_DIR}echo "解压 ${SOFTWARE_DIR}/${HBASE_TAR} 到 ${SERVERS_DIR} 目录成功"
elseecho "HBase安装包不存在，请先上传安装包到 ${SOFTWARE_DIR} 目录"exit 1
fi# 修改hbase-env.sh配置文件
echo 'export JAVA_HOME=/export/servers/jdk1.8.0_421' >>${SERVERS_DIR}/hbase-${HBASE_VER}/conf/hbase-env.sh
echo 'export HBASE_MANAGES_ZK=false' >>${SERVERS_DIR}/hbase-${HBASE_VER}/conf/hbase-env.sh
echo 'export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=true' >>${SERVERS_DIR}/hbase-${HBASE_VER}/conf/hbase-env.sh# 修改hbase-site.xml配置文件
cat >${SERVERS_DIR}/hbase-${HBASE_VER}/conf/hbase-site.xml <<EOF
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.tmp.dir</name><value>/export/data/hbase2.4.18</value></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>false</value></property><property><name>hbase.rootdir</name><value>hdfs://hadoop:9000/hbase</value></property><property><name>hbase.zookeeper.quorum</name><value>hadoop:2181</value></property><property><name>hbase.master.port</name><value>16000</value></property><property><name>hbase.master.info.port</name><value>16010</value></property><property><name>hbase.regionserver.port</name><value>16020</value></property><property><name>hbase.regionserver.info.port</name><value>16030</value></property>
</configuration>
EOF
echo "${SERVERS_DIR}/hbase-${HBASE_VER}/conf/hbase-site.xml 配置文件修改成功"# 修改regionservers配置文件
cat >${SERVERS_DIR}/hbase-${HBASE_VER}/conf/regionservers <<EOF
hadoop
EOF
echo "${SERVERS_DIR}/hbase-${HBASE_VER}/conf/regionservers 配置文件修改成功"# 删除hbase中slf4j-reload4j-1.7.33.jar文件
rm -f ${SERVERS_DIR}/hbase-${HBASE_VER}/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar
if [ $? -eq 0 ]; thenecho "${SERVERS_DIR}/hbase-${HBASE_VER}/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar 文件删除成功"
elseecho "${SERVERS_DIR}/hbase-${HBASE_VER}/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar 文件删除失败，请检查"exit 1
fi# 删除hbase临时数据目录
rm -rf ${DATA_DIR}/hbase${HBASE_VER}# 删除hbase在hdfs上的数据目录
hdfs dfs -rm -r /hbase# 删除hbase在zookeeper上的数据目录
zkCli.sh <<EOF
deleteall /hbase
quit
EOF# 设置hbase环境变量
echo >> /etc/profile
echo 'export HBASE_HOME=/export/servers/hbase-2.4.18' >> /etc/profile
echo 'export PATH=$PATH:$HBASE_HOME/bin' >> /etc/profile
echo "虚拟机Hadoop1的hbase环境变量设置成功"echo -e "\n-----hbase 伪分布式安装配置完成-----\n"
echo -e "1. 执行命令 \e[31msource /etc/profile\e[0m 加载环境变量\n"
echo -e "2. 启动HBase伪集群：\e[31mstart-hbase.sh\e[0m\n"
echo -e "3. 若要停止hbase伪集群，执行：\e[31mstop-hbase.sh\e[0m\n"exit 0

3.2 添加可执行权限

给脚本文件/export/shell/hbase_install_config.sh添加可执行权限。

chmod +x /export/shell/hbase_install_config.sh

在这里插入图片描述

3.3 执行脚本

执行脚本文件自动化安装配置HBase伪分布式。

/export/shell/hbase_install_config.sh

执行完成如下图所示。

在这里插入图片描述

4. 加载环境变量

根据使用shell脚本自动安装完成后的提示，执行如下命令加载环境变量。

source /etc/profile

在这里插入图片描述

5. 启动HBase伪集群

由于 HBase 使用 HDFS 作为底层文件存储系统，使用 ZooKeeper 来实现多个 RegionServer 之间的一致性和协调，所以在启动 HBase 集群之前需要先启动 Hadoop 和 Zookeeper。

启动 hadoop 伪分布式。

start-all.sh

在这里插入图片描述

启动单机 zookeeper 并查看状态是否正常。

zkServer.sh start
zkServer.sh status

在这里插入图片描述

执行如下命令启动HBase伪分布式。

start-hbase.sh

在这里插入图片描述

6. 进入HBase客户端

执行如下命令进入 HBase 的命令行客户端。

hbase shell

测试能否正常使用HBase命令。

create 't1','f1'

在这里插入图片描述

退出HBase命令行客户端。

exit

在这里插入图片描述

7. 访问 HBase 的 Web UI 页面

7.1 访问 Master 的 UI 页面

浏览器输入http://192.168.121.100:16010即可访问 Master 的 UI 页面。

在这里插入图片描述

7.2 访问 RegionServer 的 UI 页面

浏览器输入http://192.168.121.100:16030即可访问 RegionServer 的 UI 页面。

在这里插入图片描述

8. 停止HBase伪集群

如果要停止HBase伪集群运行，执行如下命令停止HBase伪集群。

stop-hbase.sh

在这里插入图片描述

单独停止 master 和 regionserver
若执行stop-hbase.sh命令不能成功停止hbase集群，则执行如下命令单独停止master。

hbase-daemon.sh stop master

执行如下命令单独停止regionserver。

hbase-daemon.sh stop regionserver
http://www.lryc.cn/news/499539.html

相关文章：

  • 自定义指令，全局，局部，注册
  • 静坐修心.
  • 设计模式c++（一）
  • 核密度估计——从直方图到核密度（核函数）估计_带宽选择
  • Vant UI Axure移动端元件库：提升移动端原型设计效率
  • 如何用 JavaScript 操作 DOM 元素？
  • 【Ubuntu】URDC（Ubuntu远程桌面助手）安装、用法，及莫名其妙进入全黑模式的处理
  • ES-DSL查询
  • npm 设置镜像
  • SpringMvc完整知识点一
  • STM32G4系列MCU双ADC多通道数据转换的应用
  • 【工具】音频文件格式转换工具
  • ssl证书过期，nginx更换证书以后仍然显示过期证书
  • 原型模式（Prototype Pattern）——对象克隆、深克隆与浅克隆及适用场景
  • 从工标网网站解析标准信息
  • 如何在MySQL中开启死锁日志及查看日志
  • VCP-CLIP A visual context prompting modelfor zero-shot anomaly segmentation
  • 分类算法中的样本不平衡问题及其解决方案
  • 博物馆导览系统方案（一）背景需求分析与核心技术实现
  • [创业之路-169]：《BLM战略规划》- 战略洞察 (战略能力中最最核心的能力) - 市场洞察 -1- 看宏观/行业 - 行业：激光器行业的详细分析
  • 抽象工厂模式的理解和实践
  • WIDER FACE数据集转YOLO格式
  • 项目启动的基本配置
  • Ubuntu桌面突然卡住，图形界面无反应
  • Next.js系统性教学：拦截路由与路由处理器
  • Python编码风格
  • flask创建templates目录存放html文件
  • 微信小程序里的小游戏研发需要什么技术栈
  • 2024年上半年网络工程师案例分析真题及答案解析
  • Ant Design Vue v4版本如何解决1px没有被postcss-px2rem转成rem的问题