当前位置: 首页 > news >正文

Ambari搭建Hadoop集群 — — 问题总结

Ambari搭建Hadoop集群 — — 问题总结

一、部署教程:

参考链接:基于Ambari搭建大数据分析平台-CSDN博客

二、问题总结:

1. VMwear Workstation 查看网关

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2. 资源分配

参考

  1. 硬盘:master(29 GB)、slave1(29 GB)、slave2(29 GB)
  2. 内存:master(4 GB)、slave1(2 GB)、slave2(2 GB)
  3. 处理器:master(1个处理器,4个内核)、slave1(1个处理器,2个内核)、slave2(1个处理器、2个内核)

推荐配置

  1. 硬盘:master(30 GB)、slave1(25 GB)、slave2(25 GB)
  2. 内存:master(4 GB)、slave1(2 GB)、slave2(2 GB)
  3. 处理器:master(1个处理器,4个内核)、slave1(1个处理器,2个内核)、slave2(1个处理器、2个内核)

3. CentOS-7 语言问题

在这里插入图片描述

在安装 CentOS-7 时,如果选择了使用中文进行安装,那么在之后使用 Ambari 安装 Hadoop 时,在步骤 confirm hosts时会出现无限读条问题,就是每一个节点都SUCCESS但是无法进行下一步,进入无限等待状态,此时极大可能时语言的问题,需要进行额外的配置:

  1. 修改/etc/locale.conf文件:

    vim /etc/locale.conf
    
  2. 将内容设置为:

    LANG="en_US.UTF-8"LANGUAGE="en_US:en"
    

4. YUM 换源

  1. yum 的源换为国内的阿里源:

    curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
    
  2. 清除 yum 缓存:

    yum clean all
    
  3. 生成 yum 的元数据缓存:

    yum makecache
    

5. 安装 ifconfig

CentOS-7 没有安装 ifconfig 命令的情况下,可通过以下办法进行解决:

  1. 搜索 ifconfig 关键字的软件包:

    yum search ifconfig
    

    在这里插入图片描述

  2. 可以查找到 ifconfig 命令在 net-tools.x86_64 包里,安装 net-tools.x86_64 包:

    yum install net-tools.x86_64
    

    在这里插入图片描述

  3. 使用 ifconfig 查看网卡信息,检验能否正常使用:

    ifconfig
    

    在这里插入图片描述

6. HDP 版本号丢失

在 ambari 部署服务的时候,第二步 Select Version 无法找到安装的 HDP版本号(HDP版本号丢失)问题:

在这里插入图片描述

此时有两种解决办法:

  1. 加载 HDP-xxx.xml 文件,我的路径为 /var/www/html/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml,将该文件通过 xftp 等软件传输到 windows 系统上,然后在将该文件添加即可。
    在这里插入图片描述

  2. 加载 URL,根据自己的IP以及文件路径进行设置,我的路径为:http://master/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml,其中 master 为主节点的 IP,如没有配置映射,需要使用完整的 IP 来进行访问,如:http://192.168.93.131/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml,然后选择添加该URL即可。

    在这里插入图片描述

三、致谢

  • 基于Ambari搭建大数据分析平台-CSDN博客

  • Ambari部署及hdp部署的疑难问题解答汇总_ambarihdp-CSDN博客

  • Ambari2.7.3+HDP3.1.0部署集群时-HDP Version丢失问题_hdp-select versions报错-CSDN博客

  • Ambari安装----Confirm Hosts Registering with the server failed解决办法_registering with the server… registration with t-CSDN博客

  • 解决CentOS7的yum无法安装的问题_cenos 安装不了任何服务-CSDN博客

  • 【尚硅谷】大数据技术之Ambari(安装丨配置丨部署)_哔哩哔哩_bilibili

http://www.lryc.cn/news/455316.html

相关文章:

  • 如何用python抓取豆瓣电影TOP250
  • 鸽笼原理与递归 - 离散数学系列(四)
  • Ubuntu 20.04常见配置(含yum源替换、桌面安装、防火墙设置、ntp配置)
  • AI学习指南深度学习篇-生成对抗网络的基本原理
  • 什么是网络安全
  • Redis list 类型
  • Linux更改固定IP地址
  • Qt+大恒相机回调图片刷新使用方式
  • Docker 环境下 PostgreSQL 监控实战:从 Exporter 到 Prometheus 的部署详解
  • 构建带有调试符号的srsRAN 4G
  • 算法题总结(十)——二叉树上
  • 【MySQL】MySQL 数据库主从复制详解
  • 一种格式化printf hex 数据的方法
  • 在LabVIEW中如何读取EXCEL
  • 布匹瑕疵检测数据集 4类 2800张 布料缺陷 带标注 voc yolo
  • 灵动微高集成度电机MCU单片机
  • 陪护小程序|护理陪护系统|陪护小程序成品
  • 【JVM】基础篇
  • 软件测试工程师 朝哪里进阶?
  • Obsidian Plugin Release Pre-check
  • Unity中实现预制体自动巡逻与攻击敌人的完整实现指南
  • OpenJudge | Shortest Prefixes
  • 速盾:高防服务器是如何防御CC攻击的?
  • Android阶段学习思维导图
  • React生命周期案例详解
  • 【ubuntu】ubuntu20.04安装显卡驱动
  • Mongo Java Driver使用getCollection做分页查询遇到的一些坑
  • RK3568笔记六十四:SG90驱动测试
  • 31 基于51单片机的水位监测系统仿真
  • Docker 实践与应用举例