【Ambari】HDFS基于Ambari的常规运维
🦄 个人主页——🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁
🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁
感谢点赞和关注 ，每天进步一点点！加油！
目录
一、 简介
1.1 Ambari介绍
1.2 关于本手册
二、综合运维
2.1 Ambari一览
2.1.1 命令行操作
2.1.2 登入和登出
2.1.3. 管理界面首页
三、服务的管理和运维
3.1 HDFS运维
3.1 启动/停止/删除HDFS服务
3.1.1 HDFS服务的配置
3.1.2 HDFS服务监控
一、 简介
1.1 Ambari介绍
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Spark等。
1.2 关于本手册
本手册假定您已经通过Ambari完成了HDP的安装，如果您还没有完成安装，请参考：【Ambari】CentOS7.3 内网环境安装Ambari2.7.4+HDP3.1.4（阿里云服务器）_ambari-agent.x86_64.0.2.7.4.0-118下载-CSDN博客。
二、综合运维
您可以在管理界面中可以进行集群、节点和服务级别的管理和运维。在“综合运维”部分，我们将介绍集群和节点级别的管理和运维以及通用的服务管理。
2.1 Ambari一览
Ambari是集群图形化管理应用程序。通过Ambari可视性来控制 Hadoop 集群，您可以轻松地部署、安装、监控和集中操作整个的 HDP集群。如下所示，Ambari承载管理控制台、Web 服务器和应用程序逻辑。它负责安装软件、配置、启动和停止服务，以及管理在集群运行的服务。
Ambari由以下几部分组成:
- 集群代理（ambari-agent）：在集群中的每台主机上都必须安装代理。它负责启动和停止进程，安装、卸载配置、 报警以及监视主机。（Ambari安装时候会自动安装）
- 元数据库：存储系统的配置和监视日志信息。通常有多个逻辑数据库运行在一个或多个数据库服务器。我们默认使用MySQL关系型数据库。
- 服务端（ambari-server）：Ambari-server集群安装和配置统一的配置和管理，控制集群代理完成整个集群组件的安装和卸载等基本管理。
2.1.1 命令行操作
通过命令行，您可以启动、停止和重启ambari-server服务。
ambari-server start|stop|restart|status启动、停止和重启ambari-agent及查看当前状态（在对应节点上执行）
ambari-agent start|stop|restart|status
2.1.2 登入和登出
登入
打开客户端浏览器（推荐使用Google Chrome），输入管理节点IP或DNS地址，比如http://192.168.2.161:8180/（192.168.2.161是管理节点IP, 端口号是8080），输入用户名和密码。初次登入时候必须以admin的身份登录，admin的默认密码是admin。
登出
点击用户界面右上角的登入用户名显示下拉式菜单，点击“Sign out”菜单登出系统，如下：
2.1.3. 管理界面首页
管理界面有以下一些重要元素：
三、服务的管理和运维
下面介绍服务相关的管理和运维操作，我们只对HDFS这一个组件的操作进行说明，YARN、HBase等组件操作基本类似，下面我们介绍两种常用的操作：服务重启和配置添加。
3.1 HDFS运维
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。
3.1.1 启动/停止/删除HDFS服务
在“HDFS”服务主页面上，将鼠标移至HDFS框的右上角“Action”，出现下拉菜单，您可以点击菜单栏中的选项启动、停止、删除该HDFS服务。
如下红框中的启动、停止等操作是针对整个HDFS服务的操作。
单个服务的启动或停止，我们可以选择点击进入”NAMENODE”服务
如下图，我们可以对单个服务“NameNode” 选择 restart、stop等操作
3.1.2 HDFS服务的配置
选择config下的“SETTINGS”可以进行基本的配置，包括NameNode和Datanode内存、NameNode和DataNode数据保存目录等。
如下图，我们将 “NameNode Java heap size”调整为2G后保存
备注操作信息后，选择“save”保存
选择“OK”
选择“PROCESS ANYWAY”
配置修改完成后，需要重启相关服务组件来刷新配置，我们选择 “RESTART All Required”
确定全部重启
等待全部重启完成
ADVANCED中Customer Core-site增加配置
找到 “Customer core-site”
选择“Add Property”
将如下的键值对关系配置到对应的页面，要添加三次
dfs.namenode.replication.max-streams 10
dfs.namenode.replication.max-streams-hard-limit 20
dfs.namenode.replication.work.multiplier.per.iteration 10
添加完成后的配置，添加完成后选择“save”保存
备注操作信息后，选择“save”保存
选择“PROCESS ANYWAY”
配置修改完成后，需要重启相关服务组件来刷新配置，我们选择 “RESTART All Required”
确定全部重启
等待重启完成，重启完成后配置生效。
3.1.3 HDFS服务监控
如下图，Metrics 是监控信息，包括NameNode内存，RPC，Heap、Load、blocks数等监控项。
对于HDFS、HBase、YARN等服务组件，我们上面只列举了重启和配置修改等操作，更多的复杂操作建议联系大数据工程师完成。