当前位置: 首页 > news >正文

我的私人笔记(安装hive)

1.hive下载:Index of /dist/hive/hive-1.2.1

或者上传安装包至/opt/software:rz或winscp上传

2.解压

cd /opt/software

tar -xzvf apache-hive-1.2.1-bin.tar.gz -C /opt/servers/

3.重命名

mv apache-hive-1.2.1-bin hive

4.配置环境变量

vi /etc/profile

export HIVE_HOME=/opt/servers/hive  

export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

5.修改hive-env.sh配置文件,配置Hadoop环境变量

cd /opt/servers/hive/conf

cp hive-env.sh.template hive-env.sh

vi hive-env.sh

//添加如下信息

export JAVA_HOME=/opt/servers/jdk

export HADOOP_HOME=/opt/servers/hadoop

export HIVE_HOME=/opt/servers/hive

export HIVE_CONF_DIR=/opt/servers/hive/conf

6.添加hive-site.xml配置文件,配置MySQL相关信息

vi hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<configuration>

<property>

    #指定HDFS内hive数据临时文件存放目录。启动hive,HDFS即自动创建

    <name>hive.exec.scratchdir</name>

    <value>/user/hive/tmp</value>

</property>

<property>

    #指定HDFS内hive数据存放目录。HDFS自动创建

    <name>hive.metastore.warehouse.dir</name>

    <value>/user/hive/warehouse</value>

</property>

<property>

    #指定hive查询日志本地存放目录

    <name>hive.querylog.location</name>

    <value>/user/hive/log</value>

</property>

## 配置 MySQL 数据库连接信息

<property>

<!-- 元数据库的链接地址 mysql -->

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=GMT</value>

</property>

<property>

<!-- 指定mysql驱动 -->

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<!-- 指定mysql用户名 -->

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<!-- 指定mysql密码 请输入自己的MySQL连接密码 -->

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

</configuration>

启动集群

start-all.sh

7.在hdfs 中创建下面的目录 ,并且授权

hdfs dfs -mkdir -p /user/hive/warehouse

hdfs dfs -mkdir -p /user/hive/tmp

hdfs dfs -mkdir -p /user/hive/log

hdfs dfs -chmod -R 777 /user/hive/warehouse

hdfs dfs -chmod -R 777 /user/hive/tmp

hdfs dfs -chmod -R 777 /user/hive/log

8.上传mysql驱动

cd /opt/servers/hive/lib

传mysql驱动

创建临时目录:

mkdir /opt/servers/hive/tmp

9. 初始化MySQL数据库

cd /opt/servers/hive/bin

schematool -dbType mysql -initSchema

(schemaTool completed出现这一句说明成功)

{若运行schematool -dbType mysql -initSchema 显示没有找到命令则大概率是环境变量有问题}

{

若运行schematool -dbType mysql -initSchema 没有成功

1.看Navicat for MySQL是否可以连接mysql

2.在mysql命令窗口中查看是否有hive这个库

show databases;

drop database hive;(有就要删除掉)

}

10.查看现在的hadoop中的HDFS存了什么

hadoop fs -lsr /

11.进入hive并创建一个测试库和测试表

[root@hadoop01 conf]$ hive

    hive> create database hive1;

    hive> show databases;

12.查看mysql的hive数据库变化

[root@hadoop01 conf]$ mysql -u root -p

    切换成hive数据库并查看DBS表

    mysql> use hive;

    mysql> select * from DBS;

13.复制hive到hadoop02和hadoop03

scp -r /opt/servers/hive/ hadoop02:/opt/servers/

scp -r /opt/servers/hive/ hadoop03:/opt/servers/

14.在hadoop01服务器上启动hiveserver2

hiveserver2

15.在hadoop02上执行

cd /opt/servers/hive

bin/beeline

        beeline> !connect jdbc:hive2://hadoop01:10000

        Enter username for jdbc:hive2://hadoop01:10000: root

        Enter password for jdbc:hive2://hadoop01:10000: ***

http://www.lryc.cn/news/152168.html

相关文章:

  • 【kubernetes】k8s部署APISIX及在KubeSphere使用APISIX
  • 串口接收数据-控制LED灯
  • python面试题合集(一)
  • 论文浅尝 | 利用对抗攻击策略缓解预训练语言模型中的命名实体情感偏差问题...
  • springboot web开发springmvc自动配置原理
  • 发表于《自然》杂志:语音转文本BCI的新突破实现62字/分钟的速度
  • 微软 Turing Bletchley v3视觉语言模型更新:必应搜索图片更精准
  • Ubuntu 22.04 x86_64 源码编译 pytorch-v2.0.1 笔记【2】编译成功
  • IIR滤波器
  • 【QT】使用qml的QtWebEngine遇到的一些问题总结
  • 230902-部署Gradio到已有FastAPI及服务器中
  • Ubuntu本地快速搭建web小游戏网站,公网用户远程访问【内网穿透】
  • 【LeetCode-中等题】199. 二叉树的右视图
  • 【调试经验】Ubuntu22.04 安装和配置MySQL 8.0.34
  • Android 使用OpenCV实现实时人脸识别,并绘制到SurfaceView上
  • 【自然语言处理】关系抽取 —— GDPNet 讲解
  • 【小沐学NLP】Python使用NLTK库的入门教程
  • Angular安全专辑之三 —— 授权绕过,利用漏洞控制管理员账户
  • 使用Sumo以及traci实现交叉口信号灯自适应控制
  • 自定义类型:结构体、枚举、联合
  • 如何使用ZIP方式安装MySQL:简单、快速、高效的安装方法
  • python嵌套循环
  • 一文速学-让神经网络不再神秘,一天速学神经网络基础(五)-最优化
  • 【AWS实验】 配置中转网关及对等连接
  • 47、springboot 的 国际化消息支持--就是根据浏览器选择的语言,项目上的一些提示信息根据语言的选择进行对应的显示
  • 重要变更 | Hugging Face Hub 的 Git 操作不再支持使用密码验证
  • 为什么删除Windows 11上的Bloatware可以帮助加快你的电脑速度
  • PCL点云处理之计算两条直线间最短连线的端点 (二百零三)
  • 纵行科技与山鹰绿能达成合作,提供物联网资产管理数据服务
  • 【2511. 最多可以摧毁的敌人城堡数目】