当前位置: 首页 > news >正文

Hadoop-HA集群部署

集群的服务器规划:

配置免密登陆:(这里示范的是第一台服务器,其余的操作一样),免密登陆是为了执行脚本统一操作,启动,如(hdfs集群:1上启动2.5.6.7)(yarn,3上启动4567)

免密登陆测试:从01服务器登陆05服务器:

ZOOKEEPER的配置自己去看前面的文章,装到(5.6.7)三台服务器上去

在6.7两台服务器上修改myid为2和3.这样你的 3台zk就都配置好了

启动zk,并且查看状态是否正常:

安装配置hadoop集群

1.如上图:两台hdfs的nameservice我将他们和在一起命名——ns1

2.指定hadoop的目录

3.指定zookeeper的集群地址

以上就已经将namenode的配置配好了

以下是日志的配置JournalNode,和zkfc的自动切换

配置mapreduce的框架为yarn

配置yarn的高可用

将1上的hadoop包拷贝到2.3.4.5.6.7

启动

测试yarn地址是 

http://www.lryc.cn/news/540874.html

相关文章:

  • 三、linux字符驱动详解
  • 【Research Proposal】基于提示词方法的智能体工具调用研究——研究问题
  • 【从0做项目】Java文档搜索引擎(9)烧脑终章!
  • python: SQLAlchemy (ORM) Simple example using mysql in Ubuntu 24.04
  • 如何为自己的 PDF 文件添加密码?在线加密 PDF 文件其实更简单
  • echarts 折线图动态基准线设置超出基准线标红
  • Part 3 第十二章 单元测试 Unit Testing
  • C++与Python:两种编程语言的区别
  • Springboot 高频面试题
  • 常用电脑,护眼软件推荐 f.lux 3400K | 撰写论文 paper
  • MacOS下使用Ollama本地构建DeepSeek并使用本地Dify构建AI应用
  • 如何有效利用MYSQL的连接数
  • 调用click.getchar()时Windows PyCharm无法模拟键盘输入
  • 使用Hardhat实现ERC20 代币合约详解
  • 清华大学《DeepSeek与AI幻觉》(无套路免费分享)
  • 代码随想录算法【Day52】
  • Spark 和 Flink
  • Unity结合Vuforia虚拟按键实现AR机械仿真动画效果
  • PL/SQL 异常处理
  • 【自学笔记】Spring Boot框架技术基础知识点总览-持续更新
  • Redis 缓存穿透、击穿、雪崩:问题与解决方案
  • 第一个CMAKE项目hello cmake
  • 骶骨神经
  • 基于Django的购物商城平台的设计与实现(源码+lw+部署文档+讲解),源码可白嫖!
  • 使用快捷键高效管理 VSCode:提升工作效率,告别鼠标操作
  • 【找工作】C++和算法复习(自用)
  • 大语言模型基础
  • 深入浅出机器学习:概念、算法与实践
  • 2024年国赛高教杯数学建模A题板凳龙闹元宵解题全过程文档及程序
  • 老游戏回顾:d2