当前位置: 首页 > news >正文

Hadoop服役新服务器

目录

0、准备一台新服务器

1、修改主机名

2、配置静态ip

3、配置xshell登录

4、关闭并禁用防火墙 

 5、分发hadoop和jdk文件

 6、分发环境变量文件

 7、source 环境变量

 8、配置ssh

9、删除105节点的data、logs文件夹

 10、单节点启动并关联到集群

11、验证新节点是否有效


0、准备一台新服务器

本篇以虚拟机为例,安装好CentOS7系统

1、修改主机名

vim /etc/hostname 

2、配置静态ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33 

 配置之后进行重启

3、配置xshell登录

 登录之后检查hostname和ip、网关是否正常

4、关闭并禁用防火墙 

systemctl status firewalldsystemctl stop firewalldsystemctl disable firewalld

 5、分发hadoop和jdk文件

scp -r module/* mingyu@hadoop105:/opt/module/

 6、分发环境变量文件

sudo scp /etc/profile.d/my_env.sh root@hadoop105:/etc/profile.d/

 7、source 环境变量

让环境变量生效

source /etc/profile.d/my_env.sh

 8、配置ssh

hadoop102里面有namenode

hadoop103里面有ResourceManager

使得通信流畅

102进入home目录,再进入.ssh目录

cdcd .ssh/ssh-copy-id hadoop105

输入yes和105的密码即可

9、删除105节点的data、logs文件夹

因为过去生成的clustr id不再适用

rm -rf data/ logs/

 10、单节点启动并关联到集群

hdfs --daemon start datanodeyarn --daemon start nodemanager

①在HDFS配置的白名单中放行Hadoop105

vim etc/hadoop/whitelist

②将105加入到workers名单

cd /opt/module/hadoop-3.1.3/etc/hadoopvim workersxsync workers 

 

 并分发workers

分发白名单,并在105上面也将105加入白名单 

在102中刷新节点

hdfs dfsadmin -refreshNodes

 此时在hdfs中就存在hadoop105了

11、验证新节点是否有效

从hadoop105节点上传文件到HDFS系统

hadoop fs -put README.txt /

 可以看到上传成功

 

 由于优先上传本地节点,在105中必有文件块,当105节点上传较多,导致文件不均衡,下一篇进行解决

http://www.lryc.cn/news/39600.html

相关文章:

  • YOLOv8详解 【网络结构+代码+实操】
  • Visual Studio Code 1.76 发布
  • Vulnhub靶场----3、DC-3.2
  • Windows电脑密码忘记解决方法
  • ChatGPT相关技术必读论文100篇(2.27日起,几乎每天更新)
  • 【算法】算法题解---电话号码的字符组合
  • 提高上限之数学学习——数制转换及MECE原则学习
  • 字符函数和字符串函数(下)——“C”
  • kafka docker 安装
  • SpringBean管理
  • 关于Vue3中reactive的意义
  • 平衡三进制
  • python爬取网站数据
  • CSS的三大特性
  • Linux-scheduler之负载均衡(二)
  • VScode第三方插件打开sqlite数据库
  • Kafka 监控
  • MultipartFile与File的互转
  • 数据结构与算法基础-学习-15-二叉树
  • 接口测试要测试什么?
  • 2023.03.12学习总结
  • 数据结构入门6-1(图)
  • 把C#代码上传到NuGet,大佬竟是我自己!!!
  • 解决前端“\n”不换行问题
  • Python打包成exe,文件太大问题解决办法(比保姆级还保姆级)
  • CSS弹性布局flex属性整理
  • 14个你需要知道的实用CSS技巧
  • 【Flutter从入门到入坑之四】构建Flutter界面的基石——Widget
  • 中职网络空间安全windows渗透
  • 普通二叉树的操作