当前位置: 首页 > news >正文

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群

文章目录

  • 环境搭建背景
  • 虚拟机创建和环境配置
  • 安装过程注意事项
    • 虚拟机设置
    • 软件选择
    • KOUMP
    • 系统分区
    • 网络和主机名
      • 打开以太网,并记录信息
      • 配置 IPv4
      • 修改主机名
    • 创建用户
  • hadoop完全分布式搭建-CSDN博客

环境搭建背景

为什么不从hadoop100或者hadoop101开始,而是从hadoop102开始?

因为一开始hadoop101留给了单台服务器操作使用,而用102,103,104搭建的是完全分布式,真正的生产集群。后面可以用101进行源码的编译,利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104。

虚拟机创建和环境配置

最小化安装Neokylin7.0,硬盘50G,手动配置ipv4,主机名:hadoop102,子网掩码:255.255.255.0,网关:192.168.88.2(以自己电脑的为准,倒数第二位会不一样),(配置好环境后再克隆其他集群信息)

安装过程注意事项

虚拟机设置

网络适配器选择NAT模式,Vmare在NAT模式默认网关末尾为2,硬盘选大一点,内容可以调到4G、8G,如下图所示

在这里插入图片描述

软件选择

选择最小化安装

在这里插入图片描述

KOUMP

关闭 kdump(没什么用,节省时间)

在这里插入图片描述

系统分区

系统自动分区即可,也可以自己配置分区。

安装Neokylin7.0系统一般至少需要三个分区

  • 一个交换分区(大小为物理内存的两倍)

  • 一个boot分区 (300MB)

  • 一个根分区 (大于10GB)

我的分区配置如下:

  • 一个home分区 /home (3GB)

  • 一个交换分区 /swap (4GB)

  • 一个boot分区 /boot (1GB)

  • 一个根分区 / (25GB)

  • 一个var分区 /var (15GB)

/var 包括系统运行时要改变的数据。其中包括每个系统是特定的,即不能够与其他计算机共享的目录,如 /var/log/var/lock/var/run。有些目录还是可以与其他系统共享,如/var/mail/var/cache/man/var/cache/fonts/var/spool/news

var 目录存在的目的是把 usr 目录在运行过程中需要更改的文件或者临时生成的文件及目录提取出来,由此可以使 usr 目录挂载为只读的方式。隐含要求 var 目录必须挂载为可以读写的方式。

本次项目中需要将 HDFS 的 NN 和 DN 工作主目录,Hadoop 的 log 日志文件目录全部都放到 /var 目录下,所以专门给了较大的分区。如图所示:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

网络和主机名

打开以太网,并记录信息

  • 记录网卡名称:ens160(也可以之后用 ifconfig 查看)

  • IP地址:192.168.88.134(以自己主机为准,倒数第二位会不一样),我们可以设置IP地址 192.168.88.x

  • 子网掩码:255.255.255.0

  • 网关一般都是IP地址最后一位换成2,即192.168.88.2

  • DNS服务器写网关就可以。

然后点击配置。如图所示:

在这里插入图片描述
在这里插入图片描述

配置 IPv4

IPv4设置 ➡ 手动 ➡ 添加记录的IP地址、子网掩码、网关、DNS服务器,最后保存,如图所示:

在这里插入图片描述

修改主机名

将主机名改成hadoop102,点击应用,当前主机名显示 hadoop102(后面就不需要再去 /etc/hostname 改了),如图所示:

在这里插入图片描述

创建用户

将此用户做为管理员(后面需要用到 sudo 管理员模式运行的时候就不需要再修改 /etc/sudoers 文件了),安装完毕后,重启虚拟机。如图所示:

在这里插入图片描述

安装完完全拷贝出三台机器并修改机器名称,就可以去使用 Mobaxterm 或者 XShell 远程登录来进行后续的 Hadoop 集群搭建操作了

hadoop完全分布式搭建-CSDN博客

http://www.lryc.cn/news/252736.html

相关文章:

  • 苍穹外卖面试题-中
  • Python 重要数据类型
  • 03、pytest初体验
  • 智能指针及强相关知识经验总结 --- 移动语义、引用计数、循环引用、move()、自定义删除器等
  • Gson 自动生成适配器插件
  • React创建项目
  • Redis5新特性-stream
  • 删除PPT文件的备注内容
  • 2023年亚太杯APMCM数学建模大赛B题玻璃温室小气候调控
  • Oracle 查询语句限制只选择最前面几行,和最后面几行的实现方式。
  • .NET Core6.0 MVC+layui+SqlSugar 简单增删改查
  • 在 Mac 上使用浅色或深色外观
  • 华为手环关闭智能适时测量
  • 1-Hadoop原理与技术
  • YoloV5改进策略:Swift Parameter-free Attention,无参注意力机制,超分模型的完美迁移
  • DAPP开发【04】测试驱动开发
  • Raspberry Pi 2, 2 of n - Pi 作为 IoT 消息代理
  • linux服务器环境搭建(使用yum 安装mysql、jdk、redis)
  • 互联网Java工程师面试题·Spring Boot篇·第二弹
  • 【西南交大swjtu微机与接口技术实验】D/A变换实验实验三:波形发生器
  • 【每日一题】从二叉搜索树到更大和树
  • @Scheduled,Quartz,XXL-JOB三种定时任务总结
  • 开会做笔记的时候用什么软件比较好?
  • HTML CSS JavaScript的网页设计
  • 37.从0到上线三天搭建个人网站(第一天)
  • 室内外融合便携式定位终端5G+UWB+RTK
  • 使用Java语言判断一个数据类型是奇数还是偶数
  • Java三种代理模式:静态代理、动态代理和CGLIB代理
  • vivado实现分析与收敛技巧9-分析使用率统计数据
  • 7nm项目之顶层规划——01数据导入