当前位置： 首页 > news >正文

大数据技术学习笔记（二）—— Hadoop 运行环境的搭建

news 2025/9/14 0:47:14

目录

  • 1 准备模版虚拟机hadoop100
    • 1.1 修改主机名
    • 1.2 修改hosts文件
    • 1.3 修改IP地址
      • 1.3.1 查看网络IP和网关
      • 1.3.2 修改IP地址
    • 1.4 关闭防火墙
    • 1.5 创建普通用户
    • 1.6 创建所需目录
    • 1.7 卸载虚拟机自带的open JDK
    • 1.8 重启虚拟机
  • 2 克隆虚拟机
  • 3 在hadoop101上安装JDK
    • 3.1 传输安装包并解压
    • 3.2 配置JDK环境变量
    • 3.3 测试JDK是否安装成功
  • 4 在hadoop101上安装Hadoop
    • 4.1 解压安装包
    • 4.2 配置Hadoop环境变量
    • 4.3 测试Hadoop是否安装成功

笔者使用镜像为：CentOS-7.5-x86_64-DVD-1804.iso

1 准备模版虚拟机hadoop100


以 CentOS-7.5-x86-1804为例，安装成功后：

1.1 修改主机名


查看当前主机名

hostname

修改当前主机名

vim /etc/hostname

修改主机名为 hadoop100

1.2 修改hosts文件


  1. 修改linux的主机映射文件（hosts文件）

编辑 /etc/hosts

vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
  1. 修改windows的主机映射文件（hosts文件）

进入C:\Windows\System32\drivers\etc 路径，打开hosts文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105

1.3 修改IP地址

1.3.1 查看网络IP和网关


查看虚拟网络编辑器

在这里插入图片描述

查看windows环境的中VMnet8网络配置

在这里插入图片描述

1.3.2 修改IP地址


vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

编辑完后，按键盘esc ，然后输入 :wq 回车即可。

重启网络

systemctl restart network

查看修改后的IP

ifconfig

或者

ip addr

1.4 关闭防火墙


关闭防火墙，并关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld

1.5 创建普通用户


创建普通用户huwei

useradd huwei

修改普通用户huwei的密码

passwd huwei

配置 huwei 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

vim /etc/sudoers

esc，键入:set nu显示行号，找到91行，在 root 下面添加一行

在这里插入图片描述

esc，对该只读文件保存强制退出:wq!

1.6 创建所需目录


在 /opt 目录下创建 module、software 文件夹

mkdir /opt/module
mkdir /opt/software

修改 module、software 文件夹的所有者和所属组均为 huwei 用户

chown huwei:huwei /opt/module
chown huwei:huwei /opt/software

查看module、software文件夹的所有者和所属组

cd /opt/
ll

在这里插入图片描述

1.7 卸载虚拟机自带的open JDK


rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

1.8 重启虚拟机


reboot

2 克隆虚拟机


利用模板机 hadoop100，克隆三台虚拟机：hadoop101 、hadoop102、hadoop103

然后修改克隆机IP，以下以 hadoop101 举例说明。

修改IP地址，只需改 IPADDR=192.168.10.101

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改主机名为 hadoop101

vim /etc/hostname

重启！

暂时不考虑克隆 hadoop102、hadoop103

3 在hadoop101上安装JDK

3.1 传输安装包并解压


将 hadoop 和 jdk 通过传输工具上传到 /opt/software

在这里插入图片描述

切换到 /opt/software目录下，解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/

3.2 配置JDK环境变量


新建 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

3.3 测试JDK是否安装成功


java -version

在这里插入图片描述

如果能看到以上结果，则代表 Java 安装成功！

4 在hadoop101上安装Hadoop

4.1 解压安装包


切换到 /opt/software目录下，解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf hadoop-3.1.3.tar.gz -C ../module/

查看Hadoop目录结构

cd /opt/module/hadoop-3.1.3/
ll

在这里插入图片描述

重要目录

  • bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
  • etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
  • lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
  • sbin目录：存放启动或停止Hadoop相关服务的脚本
  • share目录：存放Hadoop的依赖jar包、文档、和官方案例

4.2 配置Hadoop环境变量


编辑 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

4.3 测试Hadoop是否安装成功


hadoop version

在这里插入图片描述

如果能看到以上结果，则代表 Hadoop 安装成功！

http://www.lryc.cn/news/206088.html

相关文章：

  • leetcode系列(双语)002——GO两数相加
  • 废柴勇士（据说没有人能坚持37秒）
  • buuctf_练[羊城杯2020]easyphp
  • 【Linux】安装配置虚拟机及虚拟机操作系统的安装
  • hugo-stack for github
  • 【uniapp】proxy 代理切换至线上测试地址调试接口
  • 对比Vue2和Vue3的自定义指令
  • Python：实现日历到excel文档
  • C++ 异常和错误处理机制：如何使您的程序更加稳定和可靠
  • 第1章 Java、IDEA环境部署与配置
  • 如何进行二进制文件的读写操作？
  • python实现PDF表格与文本分别导出EXCEL
  • Java开发-WebSocket
  • SpringDoc API文档工具集成SpringBoot - Swagger3
  • Java将djvu文件转成pdf
  • 【机器学习合集】激活函数合集 -＞（个人学习记录笔记）
  • 【从0到1设计一个网关】什么是网关？以及为什么需要自研网关？
  • Tp框架如何使用事务和锁，还有查询缓存
  • Java IDEA feign调用上传文件MultipartFile以及实体对象亲测可行
  • 【产品经理】APP备案（阿里云）
  • Overmind VS Redux
  • 0基础学习PyFlink——流批模式在主键上的对比
  • Java学习笔记（五）——数组、排序和查找
  • python输出与数据类型
  • React-Redux总结含购物车案例
  • 攻克组合优化问题！美国DARPA选中全栈量子经典计算公司Rigetti
  • Kafka - 深入了解Kafka基础架构：Kafka的基本概念
  • [Docker]二.Docker 镜像,仓库,容器介绍以及详解
  • 软考高级系统架构设计师系列之：案例分析典型试题一
  • 2023年5个美国代理IP推荐，最佳代理花落谁家？