当前位置: 首页 > news >正文

数据仓库Hive的安装和部署

1)去apache.hive.org官网下载hive

目前hive主要有三大版本,Hive1.x、Hive2.x、Hive3.x
Hive1.x已经2年没有更新了,所以这个版本后续基本不会再维护了,不过这个版本已经迭代了很多年了,也是比较稳定的
Hive2.x最近一直在更新
Hive3.x上次是19年8月份更新的,也算是一直在维护

在选择Hive版本的时候我们需要注意已有的Hadoop集群的版本。因为Hive会依赖于Hadoop,所以版本需要兼容才可以。

下载地址:apache的一个通用archive地址
https://archive.apache.org/dist/hive/

解压后修改环境变量:conf  目录下

1)vi hive-env.sh
.....
export JAVA_HOME=/data/soft/jdk1.8
export HIVE_HOME=/data/soft/apache-hive-3.1.2-bin
export HADOOP_HOME=/data/soft/hadoop-3.2.0

2)在hive-site.xml文件中根据下面property中的name属性的值修改对应value的值,这些属
性默认里面都是有的,所以都是修改对应的value的值即可

由于这里面需要指定Metastore的地址,Metastore我们使用Mysql,所以提前安装好
Mysql,我这里使用的是Mysql8.0.16版本

[root@bigdata04 conf]# vi hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.182.1:3306/hive?serverTimezone=Asia/Shanghai<
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>admin</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/data/hive_repo/querylog</value>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/data/hive_repo/scratchdir</value>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/data/hive_repo/resources</value>
</property>

3)最后还要注意mysql驱动包的版本,要和我们安装的版本保持一致:mysql-connector-java-8.0.16.jar

4)修改bigdata01中的core-site.xml,然后同步到集群中的另外两个节点上
如果不增加这个配置,使用beeline连接hive的时候会报错

[root@bigdata01 hadoop]# vi core-site.xml
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
[root@bigdata01 hadoop]# scp -rq etc/hadoop/core-site.xml bigdata02:/data/sof
[root@bigdata01 hadoop]# scp -rq etc/hadoop/core-site.xml bigdata03:/data/sof

5)初始化Hive的Metastore

bin/schematool -dbType mysql -initSchema

初始化成功以后,查看本地Mysql数据库,发现会自动创建hive数据库和一堆表,看到这些就说明
Metastore初始化成功了

http://www.lryc.cn/news/21395.html

相关文章:

  • Python调用CANoe常见问题
  • 一起Talk Android吧(第五百零七回:图片滤镜ImageFilterView)
  • Java 解释器和即时解释器(JIT)之间的区别
  • Acwing 蓝桥杯 第二章 二分与前缀和
  • CSDN原力增长规则解读 实测一个月
  • HDMI协议介绍(三)--InfoFrame
  • 【RocketMQ】源码详解:Broker端消息储存流程、消息格式
  • IoT项目系统架构案例2
  • Vue echarts封装
  • 蓝桥杯入门即劝退(二十二)反转字符(不走寻常路)
  • 数据仓库Hive
  • 嵌入式 STM32 步进电机驱动,干货满满,建议收藏
  • 详讲函数.2.
  • 行测-判断推理-图形推理-位置规律-旋转、翻转
  • linux shell 入门学习笔记15 shell 条件测试
  • Apollo(阿波罗)分布式配置安装详解
  • Vue3之组件
  • 【网络】套接字 -- UDP
  • Lambda原理及应用
  • 运动耳机推荐、最值得入手的运动耳机清单共享
  • c盘爆满--如何清理电脑C盘
  • Nginx配置web服务器及部署反向代理
  • mvvm和mvc
  • JavaScript while 循环
  • CMU15-445 Project.0总结
  • 计算机网络题库---错题本
  • 【react】react创建项目与引入AntD组件库:
  • hook与mixin
  • 【C语言】自定义类型
  • 没有上司的舞会(C++,树形DP)