当前位置: 首页 > news >正文

大数据课程F2——HIve的安装操作

文章作者邮箱:yugongshiye@sina.cn              地址:广东惠州

 ▲ 本章节目的

⚪ 了解HIve的安装概念;

⚪ 掌握HIve安装步骤和Linux常用命令;

⚪ 掌握HIve安装的连接池jar包冲突和日志打印jar包冲突;

⚪ 掌握HIve安装的Hadoop安装配置;

⚪ 掌握HIve安装的JDK安装配置;

⚪ 掌握HIve安装的MySQL安装配置;

⚪ 掌握HIve安装的Hive的元数据库初始化和启动;

⚪ 掌握HIve安装的指定Hive运行日志生成路径;

⚪ 掌握HIve安装的Hive参数配置原则;

一、安装

1. 概述

1. Hive是基于Hadoop来使用的(基于HDFS来存储,基于Hadoop YARN来执行),所以Hive的版本要受Hadoop版本的影响。

2. 到目前为止,Hadoop2.X支持Hive1.X和Hive2.X版本,Hadoop3.X支持Hive3.X。

3. Hive在安装过程中还需要改变元数据库。

a. 在Hive中,同样需要建库建表,这个时候产生的库名、表名、字段名、分区名、分桶信息、函数、数据类型等信息都属于元数据,这些数据是用于描述Hive中数据的特点,统称为元数据。

b. Hive的元数据是维系在关系型数据库中的(Hive管理的数据存储在HDFS上,Hive的元数据存储在数据库中)。

c. 到目前为止,Hive1.X和Hive2.X的元数据库只支持两种:Derby和MySQL。Hive3.X的元数据库还支持Oracle等数据库。如果不指定,无论是Hive的哪一个版本,都默认使用Derby(微型,单连接)来作为元数据库,就意味着Hive每次都只能允许一个用户连接,因此需要更换Hive的元数据库。

2. 安装步骤

1. 要求云主机或者虚拟机上必须先安装好Hadoop3.1.3+JDK1.8;要求硬件环境内存不少于3G。

2. 进入/home/software,下载或者上传Hive的安装包。

cd /home/software/

#云主机下载地址

 wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/apache-hive-3.1.2-bin.tar.gz

3. 解压安装包。

tar -xvf apache-hive-3.1.2-bin.tar.gz

4. 重命名。

mv apache-hive-3.1.2-bin hive-3.1.2

5. 配置环境变量。

vim /etc/profile

#在文件尾部添加

export HIVE_HOME=/home/software/hive-3.1.2

export PATH=$PATH:$HIVE_HOME/bin

#保存退出,重新生效

source /etc/profile

#测试是否配置正确

hive --version

6. 解决连接池的jar包冲突。

cd /home/software/hive-3.1.2/lib

rm -rf guava-19.0.jar

cp /home/software/hadoop-3.1.3/share/hadoop/common/lib/guava-27.0-jre.jar ./

7. 解决日志打印的jar包冲突。

mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.bak

8. Centos7中自带了残缺的MySQL发行版mariadb,需要先卸载残缺的mariadb。

rpm -qa | grep -i mariadb | xargs rpm -ev --nodeps

9. 卸载其他的MySQL。

rpm -qa | grep -i mysql | xargs rpm -ev --nodeps

10. 删除MySQL卸载遗留的文件。

find / -name mysql | xargs rm -rf

find / -name my.cnf | xargs rm -rf

cd /var/lib

http://www.lryc.cn/news/109754.html

相关文章:

  • 华为云hcip核心知识笔记(存储服务规划)
  • 四、JVM-对象内存模型
  • 2023-08-05 LeetCode每日一题(合并两个有序链表)
  • 【每天40分钟,我们一起用50天刷完 (剑指Offer)】第四十七天 47/50
  • 离散型制造业生产管理云MES系统解决方案
  • 【Vue】全家桶介绍
  • 【雕爷学编程】MicroPython动手做(33)——物联网之天气预报2
  • macOS 虚拟桌面黑屏(转)
  • 查看gz文件 linux zcat file.gz mtx.gz
  • 互联网——根服务器
  • 华为OD机试之报文回路(Java源码)
  • 林大数据结构【2019】
  • 2023华数杯数学建模A题思路分析 - 隔热材料的结构优化控制研究
  • Linux常用命令——dos2unix命令
  • 【NLP pytorch】基于BERT_TextCNN新闻文本分类实战(项目详解)
  • 决策树与随机森林
  • Nginx 网站服务
  • Python爬虫——爬虫时如何知道是否代理ip伪装成功?
  • flink1.17 json_tuple udf 实现
  • Vue3实现6位验证码输入框,用户可以连续输入和删除
  • 如何在终端设置代理(设置jupyter notebook同理)
  • git报错:Error merging: refusing to merge unrelated histories
  • QT-QLabel显示图片,按QLabel控件的大小自动缩放
  • 【JS代码调试技巧】你必须知道的Javascript技巧汇总
  • JAVA-@Configuration注解属性proxyBeanMethods
  • 锁策略, cas 和 synchronized 优化过程总结
  • 正点原子HAL库入门1~GPIO
  • 华为VRP 系统基础配置
  • 面试热题(打家窃舍)
  • 【Deepsort】C++版本Deepsort编译(依赖opencv,eigen3)