当前位置: 首页 > news >正文

大数据中服役新数据节点和退役旧节点步骤(hive,hadoop)

1- 节点上线操作


当要新上线数据节点的时候 ,需要把数据节点的名字追加在 dfs.hosts

(1)关闭新增节点的防火墙

(2)在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname

(3)在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname

(4)在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作

(5)在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname,

(6)在其他节点上执行刷新操作 :hdfs dfsadmin -refreshNodes

(7)在 NameNode 节点上,更改 slaves 文件,将要上线的数据节点 hostname 追加到 slaves 文件 中

(8)启动 DataNode 节点

(9)查看 NameNode 的监控页面看是否有新增加的节点

2-节点下线操作

(1)修改/conf/hdfs-site.xml 文件

(2)确定需要下线的机器 ,dfs.osts.exclude 文件中配置好需要下架的机器 ,这个是阻止下架的机器去 连接 NameNode。

(3)配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个操作的作用是在后 台进行 block 块的移动。

(4)当执行三的命令完成之后,需要下架的机器就可以关闭了,可以查看现在集群上连接的节点,正在 执 行 Decommission ,会显示:Decommission Status : Decommission in progress 执行完毕后 ,会显示: Decommission Status : Decommissioned

(5)机器下线完毕 ,将他们从excludes文件中移除。

http://www.lryc.cn/news/345846.html

相关文章:

  • 数论:不定方程的引入
  • 数据中心法
  • pdffactory pro8.0虚拟打印机(附注册码)
  • 处理用户输入
  • 在装有centOS7的虚拟机上进行MySQL的安装部署
  • 【vivado】debug相关时钟及其约束关系
  • 什么是HTTP/2?
  • 【ChatGPT with Date】使用 ChatGPT 时显示消息时间的插件
  • STM:TIM定时器——定时中断
  • jetson tx2 nx实现在ros1中yolov5实现
  • 【SpringBoot笔记43】SpringBoot应用程序集成spring-boot-admin监控工具
  • 与队列和栈相关的【OJ题】
  • Unity编辑器扩展
  • 【kettle】kettle访问数据库系列文章及视频地址(更新中)
  • 共赴科技盛会“2024南京智博会”11月在南京国际博览中心召开
  • 刷代码随想录有感(62):修建二叉搜索树
  • AVL树的旋转
  • C++(动态规划之拆分整数)
  • unix C之环境变量
  • Flutter实战记录-协作开发遇到的问题
  • Linux 安装JDK和Idea
  • c#绘制渐变色的Led
  • LifeCycle之ProcessLifeCycleOwner
  • C++ | Leetcode C++题解之第79题单词搜索
  • 如何通过PHP语言实现远程控制空调
  • 【AI+换脸换装】从OpenAI 探索色情露骨内容领域浅聊AI换脸换装
  • Flutter笔记:Widgets Easier组件库(13)- 使用底部弹窗
  • RobbitMQ基本消息队列的消息发送过程
  • MongoDB聚合运算符:$topN
  • 什么是顶级域名、二级域名、三级域名?