当前位置: 首页 > news >正文

【大数据之Hive】二、Hive安装

Hive安装部署(最小化部署)

  安装部署Hive(最小化只用于本机测试环境中,不可用于生产环境),并运行。

步骤:
(1)把apache-hive-3.1.3-bin.tar.gz解压到/opt/module/目录下:

tar -zxvf /opt/software/apache-hive-3.1.3-bin.tar.gz -C /opt/module/

(2)修改apache-hive-3.1.3-bin.tar.gz的名称为hive:

mv /opt/module/apache-hive-3.1.3-bin/ /opt/module/hive

(3)修改/etc/profile.d/my_env.sh,添加环境变量:

sudo vim /etc/profile.d/my_env.sh# 添加以下:
#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

(4)source一下,让环境变量生效:

source /etc/profile.d/my_env.sh

(5)先开启hadoop,再初始化元数据库:

myhadoop.sh start
bin/schematool -dbType derby -initSchema

  最小化模式把元数据保存在默认的derby数据库中,最小化模式只适用于本地测试,不能用于生产环境。
  Hive把元数据库metastore_db保存在hive的根目录下。
(6)启动hive:

bin/hive

(7)使用hive:

查看当前所有数据库信息,当没有声明使用什么数据库时则使用默认default数据库
hive> show databases;hive> show tables;创建表后hive把表到hdfs的路径进行映射,映射关系保存在元数据库中,在建表时可以指定hdfs路径,未指定则使用默认路径/user/hive/warehouse/中
hive> create table stu(id int, name string);hive> insert into stu values(1,"ss");hive优化了简单查询语句,即执行简单查询时hive不向yarn提交任务,减少了开销
hive> select * from stu;

Hive和Hadoop的关系:
  Hive中的表在Hadoop中是目录;Hive中的数据在Hadoop中是文件。
在这里插入图片描述
(8)在另外一个窗口开启hive,查看/tmp/用户名/下的hive.log日志文件:
在这里插入图片描述
报错原因:
  Hive默认使用的元数据库为derby,derby数据库在同一时间只能一个客户访问,如果多个hive客户端同时访问会报错。

解决:
  企业开发中需要多客户访问hive,所以把hive元数据用MYSQL存储,MYSQL支持多客户端同时访问。

(9)先退出hive客户端,在hive根目录下删除derby.log和metastore_db,以及删除HDFS上的hive目录。

hive> quit;rm -rf derby.log metastore_db
hadoop fs -rm -r /user
http://www.lryc.cn/news/89932.html

相关文章:

  • 三大特性之多态
  • 单调队列优化dp
  • 【低压配电漏电继电器660V/LLJ-100H/AC220V 中性点漏电保护 JOSEF】
  • [数据结构习题]栈——中心对称链
  • AMD Software Adrenalin Edition 23.5.1驱动发布,快速获取驱动
  • Visual Studio内引用Lua解释器,编译Lua源码,执行Lua脚本
  • 【赏】C语言迷宫游戏设计如何解决屏幕严重刷屏问题同时实现运行时间的显示
  • Spring Boot如何实现接口文档自动生成
  • 二进制概述-0day漏洞利用原理(1)
  • 加密与解密 调试篇 动态调试技术 (二)-常见断点
  • 【JavaScript】拾遗(5.25)
  • QMI8658 - 姿态传感器学习笔记 - Ⅲ
  • PHP+vue二手车交易信息网站系统
  • NTM中attr的用法
  • 【python资料】pandas的条件查询
  • 中间件(三)- Kafka(二)
  • DAY01_MySQL基础数据类型navicat使用DDL\DML\DQL语句练习
  • 数据安全复合治理框架和模型解读(0)
  • Java程序设计入门教程--逻辑运算符和位运算符
  • 接口测试简介以及接口测试用例设计思路
  • C++ Qt项目实战:构建高效的代码管理器
  • 【JavaScript 递归】判断两个对象的键值是否完全一致,支持深层次查询,教你玩转JavaScript脚本语言
  • 卷积、相关、匹配滤波、脉冲压缩以及模糊函数
  • C# 栈(Stack)
  • 网络流量监控及流量异常检测
  • 六.热修复
  • 2000万的行数在2023年仍然是 MySQL 表的有效软限制吗?
  • jvm问题排查
  • 【Redis】浅谈Redis-集群(Cluster)
  • Python3实现基于ARIMA模型来预测茅台股票价格趋势