当前位置： 首页 > news >正文

八，Linux基础环境搭建（CentOS7）- 安装Mysql和Hive

news 2025/9/13 1:04:04

Linux基础环境搭建（CentOS7）- 安装Mysql和Hive

大家注意以下的环境搭建版本号，如果版本不匹配有可能出现问题！

一、Mysql下载及安装

MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。

MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择 MySQL 作为网站数据库。

在这里插入图片描述
Mysql的下载（slave2）

Mysql下载链接：https://pan.baidu.com/s/1Hh2dnzXEiiHaL7vxwQMtpg

提取码：5l4o

将下载的安装包通过Xftp传输到Linux虚拟机/opt/software/中

Mysql的安装
yum remove mysql-libs			#删除本机的mysql 一路按y
cd /opt/software/
tar -xvf mysql-5.7.20-1.el6.x86_64.rpm-bundle.tarrpm -ivh mysql-community-common-5.7.20-1.el6.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.20-1.el6.x86_64.rpm
rpm -ivh mysql-community-client-5.7.20-1.el6.x86_64.rpm
rpm -ivh mysql-community-server-5.7.20-1.el6.x86_64.rpm --force --nodeps
Mysql启动服务
systemctl daemon-reload				#重载所有修改过的配置文件
systemctl start mysqld				#开启服务
systemctl enable mysqld				#开机自启 若不成功也不影响
登录MySQL数据库
grep "temporary password" /var/log/mysqld.log		#获取初密码
mysql -uroot -p										#登陆MySQL（注意中英文）
在这里插入图片描述
MySQL密码安全策略设置
set global validate_password_policy=0;								#设置密码强度为低级
set global validate_password_length=4;								#设置密码长度
alter user 'root'@'localhost' identified by '123456';				#修改用户密码
\q																	#退出
设置远程登录
mysql -uroot -p123456											#以新密码登陆MySQL
create user 'root'@'%' identified by '123456';					#创建用户
grant all privileges on *.* to 'root'@'%' with grant option;	#允许远程连接
flush privileges;												#刷新权限
create database if not exists test;								#创建数据库test

二、Hive下载及安装

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。 在这里插入图片描述

Hive的下载（master操作）

Hive下载链接：https://pan.baidu.com/s/1Dxq9Hh-zu0RjuM_R3yNgfw

提取码：96io

将下载的安装包通过Xftp传输到Linux虚拟机/opt/software/中

HIve的安装（master操作）
mkdir -p /usr/hive
cd /opt/software/
tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/hive/
配置profile
vim /etc/profile

添加内容如下：

#set hive
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin
在这里插入图片描述

刷新profile文件

source /etc/profile
将Hive和profile文件传到slave1
scp -r /usr/hive/ root@slave1:/usr/	
scp -r /etc/profile root@slave1:/etc/profile
解决版本冲突
cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/
修改hive-site.xml文件
cd /usr/hive/apache-hive-2.1.1-bin/conf/
vim hive-site.xml

修改内容如下：

<configuration>
<!-- Hive产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!--- 使用本地服务连接Hive,默认为true-->
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<!-- 连接服务器-->
<property>
<name>hive.metastore.uris</name>
<value>thrift://slave1:9083</value>
</property>
</configuration>
在这里插入图片描述
修改hive-env.sh中HADOOP_HOME环境变量
cd /usr/hive/apache-hive-2.1.1-bin/conf/
mv hive-env.sh.template hive-env.sh
vim hive-env.sh

修改内容如下：

HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.1.1-bin/conf
在这里插入图片描述

三、Hive的配置（slave1操作）

mysql依赖包下载

mysql依赖包下载链接：https://pan.baidu.com/s/1bjQPoaMab3CMiS1-5ojGgw

提取码：a4l3

将mysql依赖包放入slave1 Hive中
cd /usr/hive/apache-hive-2.1.1-bin/lib 
cp /opt/software/mysql-connector-java-5.1.47-bin.jar /usr/hive/apache-hive-2.1.1-bin/lib/
修改hive-env.sh文件
cd /usr/hive/apache-hive-2.1.1-bin/conf/
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

修改内容如下：

HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.1.1-bin/conf
在这里插入图片描述
修改hive-site.xml文件
vim /usr/hive/apache-hive-2.1.1-bin/conf/hive-site.xml

添加内容如下：

<configuration>
<!-- Hive产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!-- 数据库连接JDBC的URL地址-->
<property>
<name>javax.jdo.option.ConnectionURL</name> 
<value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value>
</property>
<!-- 数据库连接driver，即MySQL驱动-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- MySQL数据库用户名-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- MySQL数据库密码-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>
</configuration>
检查profile文件
vim /etc/profile

在这里插入图片描述 如果没有错误的话，source一下profile文件

source /etc/profile

四、Mysql和Hive启动

启动hadoop集群（master上）
cd /usr/hadoop/hadoop-2.7.3/sbin/
start-all.sh
启动hive server服务（slave1上）
cd /usr/hive/apache-hive-2.1.1-bin/
bin/hive --service metastore
在这里插入图片描述
启动hive client(master上)
cd /usr/hive/apache-hive-2.1.1-bin/
bin/hive

成功就会跳到hive的输入界面 在这里插入图片描述

五、测试hive是否启动成功

查看数据库
hive>show databases;
在这里插入图片描述
创建数据库
hive>create database testbase;
在这里插入图片描述
复制一个master会话，查看一下master进程

在这里插入图片描述 如果可以查看以及建立数据库，进程中有RunJar进程，则代表Mysql和Hive安装成功啦~

http://www.lryc.cn/news/472042.html

相关文章：

  • 海量数据面试题
  • 基于SSM积分商城管理系统的设计与实现(源码+lw+部署文档+讲解等)
  • MLP预售开启，革新去中心化通信生态：智能手机与AI Agent齐上阵
  • js获取浏览器指纹
  • 乐尚代驾的项目问题
  • uniapp app.onshow 和 onMounted一样用吗
  • 基于Mysql、JavaScript、PHP、ajax开发的MBTI性格测试网站（前端+后端）
  • 【问题解决】连接mysql时报错caching_sha2_password can not load
  • 【瑞吉外卖】-day01
  • 钉钉与金蝶云星空数据集成：提高企业付款申请单处理效率
  • GIT使用list
  • JavaSE:数组深入学习与复习
  • Redis 事务 总结
  • go sdk的安装或者升级
  • mongo实操笔记
  • 前端算法：树（力扣144、94、145、100、104题）
  • 深度学习速通系列:如何使用bert进行超长中文文本命名实体识别
  • 【感知模块】深度神经网络实现运动预测
  • 智能优化算法-蝗虫优化算法（GOA）（附源码）
  • TVM前端研究--Relay
  • STM32外设应用
  • Docker 部署 Jaeger
  • 使用Python和OpenCV实现火焰检测
  • uniapp基础笔记
  • 函数基础，定义与调用。作用域，闭包函数
  • 【Linux网络编程】 --- Linux权限理解
  • Qt/C++ 调用迅雷开放下载引擎（ThunderOpenSDK）下载数据资源
  • 深入详解 Java - Spring MVC
  • Spring Boot技术中小企业设备管理系统设计与实践
  • 动态渲染组件