当前位置: 首页 > news >正文

Hadoop生态圈框架部署 伪集群版(一)- Linux操作系统安装及配置

文章目录

  • 前言
  • 一、下载CentOS镜像
    • 1. 下载
  • 二、创建虚拟机hadoop
  • 三、CentOS安装与配置
    • 1. 安装CentOS
    • 2. 配置虚拟网络及虚拟网卡
      • 2.1 配置虚拟网络
      • 2.2 配置虚拟网卡
    • 3. 安装 SSH 远程连接工具 FinalShell
      • 3.1 简介
      • 3.2 下载和安装
        • 3.2.1 下载
        • 3.2.2 安装
      • 3.3 查看动态ip地址
      • 3.4 使用FinalShell连接虚拟机hadoop
    • 4. 配置虚拟机hadoop的主机名、静态ip地址和uuid
    • 5. 重启虚拟机hadoop,并更新FinalShell的连接信息
    • 6. 关闭并禁用防火墙


前言

本指南旨在帮助读者从零开始,在个人计算机上通过VMware Workstation创建并配置一个基于CentOS操作系统的虚拟机,用于构建Hadoop的学习和测试环境。本文档详细记录了从下载CentOS镜像、创建虚拟机、安装CentOS操作系统,到配置虚拟网络、安装SSH远程管理工具FinalShell以及相关环境设置的全过程。通过本指南,读者可以轻松地搭建起自己的Hadoop实验平台,为进一步深入学习Hadoop及相关大数据技术打下坚实的基础。


一、下载CentOS镜像

1. 下载

CentOS镜像下载地址:
阿里云:https://mirrors.aliyun.com/centos-vault/centos/7/isos/x86_64/

进入网站后,选择红框中的一种点击下载。
在这里插入图片描述


二、创建虚拟机hadoop

运行VMware Workstation软件后,点击创建新的虚拟机。

在这里插入图片描述

点击自定义(高级)©,点击下一步。

在这里插入图片描述

选择硬件兼容性为Workstation 16.x,点击下一步。

在这里插入图片描述

选择稍后安装操作系统,点击下一步。

在这里插入图片描述

选择客户机操作系统为Linux,版本为CentOS 7 64位,点击下一步。

在这里插入图片描述

自定义虚拟机名称,选择虚拟机存储目录,点击下一步。

在这里插入图片描述

选择处理器数量为4,每个处理器的内核数量为2,点击下一步。

在这里插入图片描述

设置虚拟机的内存为8192MB,点击下一步。

在这里插入图片描述

选择网络类型为使用网络地址转换,点击下一步。

在这里插入图片描述

选择SCSI控制器为LSI Logic,点击下一步。

在这里插入图片描述

选择虚拟磁盘类型为SCSI,点击下一步。

在这里插入图片描述

选择磁盘为创建新虚拟磁盘,点击下一步。

在这里插入图片描述

设置最大磁盘大小为40G,选择将虚拟磁盘拆分成多个文件,点击下一步。

在这里插入图片描述

把磁盘文件命名为hadoop.vmdk,点击下一步。

在这里插入图片描述

在这个页面查看虚拟机的相关配置参数,点击完成。

在这里插入图片描述

创建完成的虚拟机如下图所示。

在这里插入图片描述


三、CentOS安装与配置

1. 安装CentOS

在创建完成后的虚拟机页面点击设备下方的CD/DVD(IDE)选项,选择使用ISO映像文件,点击浏览,选择镜像文件,点击确定。

在这里插入图片描述

点击开启虚拟机。

在这里插入图片描述

启动虚拟机后,鼠标点击黑色背景部分,键盘上的上下键可以选择选项,选择Install CentOS 7,之后点击回车键。

在这里插入图片描述

等待加载完成后,点击空白部分,让鼠标可以选择,然后设置语言为简体中文。

在这里插入图片描述

设置日期和时间为亚洲上海时区,键盘为汉语,语言支持为简体中文。

在这里插入图片描述

设置软件选择为最小安装。

在这里插入图片描述
在这里插入图片描述

设置安装位置为自动选择分区。

在这里插入图片描述
在这里插入图片描述

设置网络和主机名,设置以太网状态为开启,主机名为hadoop,点击应用后可以在右下角看到当前主机名,点击完成。

在这里插入图片描述

设置完成后,点击开始安装。

在这里插入图片描述

开始安装后,点击ROOT密码。

在这里插入图片描述

输入需要设置的密码,双击完成。

在这里插入图片描述

设置密码完成后,可以看到已经设置root密码。

在这里插入图片描述

等待安装完成后点击重启。

在这里插入图片描述

重启完成后会跳转到登陆页面,输入用户名root,点击回车,输入密码时不会有任何字符出现,但是已经是输入了,输入密码后,点击回车登录。

在这里插入图片描述

2. 配置虚拟网络及虚拟网卡

2.1 配置虚拟网络

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.2 配置虚拟网卡

  1. Win + R 组合键打开“运行”对话框。
  2. 输入 control 并按回车键,打开控制面板。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

3. 安装 SSH 远程连接工具 FinalShell

3.1 简介

FinalShell 是一款功能全面的 SSH 客户端和终端模拟器,它主要用于远程管理和控制服务器。FinalShell 提供了丰富的特性和工具,使其成为 IT 专业人士、系统管理员和开发者的常用工具之一。

3.2 下载和安装

3.2.1 下载

下载地址:http://www.hostbuf.com/downloads/finalshell_windows_x64.exe

点击下载地址后就会开始下载,等待下载完成。

3.2.2 安装

下载完成后,双击下载好的.exe文件。

在这里插入图片描述

点击我接受。

在这里插入图片描述

点击下一步。

在这里插入图片描述

点击浏览选择安装目录,点击安装。

在这里插入图片描述

等待安装完成后点击关闭。

在这里插入图片描述

3.3 查看动态ip地址

输入账号root,密码123456,进行登录,然后使用如下命令查看动态ip地址。

ip addr

可以看到动态IP地址为 192.168.121.128,记住此IP地址。

在这里插入图片描述

3.4 使用FinalShell连接虚拟机hadoop

安装完成之后会自动运行FinalShell,或者双击桌面快捷方式运行FinalShell。

运行之后,如下图所示,点击新建SSH连接。

在这里插入图片描述

输入自定义名称hadoop、主机ip地址为之前查看虚拟机hadoop的动态ip地址、端口号,选择认证方法为密码,输入用户名root和密码123456,点击确定。

在这里插入图片描述

双击新建的SSH连接,连接虚拟机hadoop。

在这里插入图片描述
在这里插入图片描述

出现如下页面则连接成功。

在这里插入图片描述

4. 配置虚拟机hadoop的主机名、静态ip地址和uuid

虚拟机hadoop使用如下命令设置虚拟机hadoop的主机名为hadoop,静态ip地址为192.168.121.100

hostnamectl set-hostname hadoop

在这里插入图片描述

cat >/etc/sysconfig/network-scripts/ifcfg-ens33 <<EOF
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
IPADDR="192.168.121.100"
NETMASK="255.255.255.0"
GATEWAY="192.168.121.2"
DNS1="114.114.114.114"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="$(uuidgen)"
DEVICE="ens33"
ONBOOT="yes"
EOF

在这里插入图片描述

5. 重启虚拟机hadoop,并更新FinalShell的连接信息

由于修改ip地址和主机名后,需要重启虚拟机使修改的配置生效,新的ip地址生效后。

点到虚拟机hadoop,然后使用Ctrl+r快捷键重启虚拟机hadoop。

在这里插入图片描述

FinalShell上的虚拟机hadoop的连接信息要改为设置的静态ip地址192.168.121.100

在这里插入图片描述
在这里插入图片描述

然后刷新连接。

在这里插入图片描述
在这里插入图片描述

6. 关闭并禁用防火墙

执行如下命令关闭并禁用防火墙。

systemctl stop firewalld
systemctl disable firewalld

在这里插入图片描述

http://www.lryc.cn/news/498193.html

相关文章:

  • Go的Gin比java的Springboot更加的开箱即用?
  • pickle常见Error解决
  • 认识Java数据类型和变量
  • Qt开发技巧(二十四)滚动部件的滑动问题,Qt设置时区问题,自定义窗体样式不生效问题,编码格式问题,给按钮左边加个图,最小化后的卡死假象
  • SHELL----正则表达式
  • 44.5.【C语言】辨析“数组指针”和“指针数组”
  • node.js基础学习-express框架-路由及中间件(十)
  • 使用MSYS搭建linux开发环境踩坑笔记
  • vue3+ts+vite+ElementPlus上传进度条实时更新(UPLoad和progress)。
  • AspNet WebAPI 模型绑定问题
  • Android 图形系统之七:SurfaceFlinger
  • 14、鸿蒙学习——管理通知角标
  • TongRDS分布式内存数据缓存中间件
  • [在线实验]-RabbitMQ镜像的下载与部署
  • Linux 系统文件描述符(File Descriptor)小白级介绍
  • 【Verilog】实验二 数据选择器的设计与vivado集成开发环境
  • IDL学习笔记(三)OMI数据处理。hdf5文件读取,图像反转,GeoTiff区别,月季年均值计算提取输出,单位转换,运行时间计算
  • 深入浅出:PHP中的数据类型全解析
  • 要使用 OpenResty 创建一个接口,返回客户端的 IP 地址,并以 JSON 格式输出
  • 智慧油客:从初识、再识OceanBase,到全栈上线
  • ClickHouse守护进程
  • 智能合约
  • SQL面试题——拼多多SQL面试题 求连续段的起始位置和结束位置
  • 玩《三角洲行动》遇到游戏运行故障是什么原因?游戏运行故障要怎么解决?预防游戏运行故障问题出现
  • 基于灰色神经网络的订单需求预测
  • 记录学习《手动学习深度学习》这本书的笔记(三)
  • JS中递归函数的理解及展开运算符在递归种的运用理解
  • 人工智能学习用的电脑安装cuda、torch、conda等软件,版本的选择以及多版本切换
  • 提高身份证 OCR 识别 API 接口的准确性的方法
  • PHP面向对象