我的私人笔记（安装hadoop）
1.安装hadoop01环境
注需安装最小安装和使用英文界面
2.安装群集
// 获得网关IP：192.168.80.2 获得子网掩码：255.255.255.0
// 获得网段：[起始IP地址]192.168.128 --- [结束IP地址]192.168.80.254
// 计划集群的ip和主机名
//192.168.80.151 hadoop01
//192.168.80.152 hadoop02
//192.168.80.153 hadoop03
在hadoop01中操作
1.修改主机名：
hostnamectl set-hostname hadoop01
2.配置网卡：
vi /etc/sysconfig/network-scripts/ifcfg-ens33
#修改
BOOTPROTO=static
ONBOOT=yes
#添加
IPADDR=192.168.80.151
GATEWAY=192.168.80.2
NETMASK=255.255.255.0
DNS1=119.29.29.29
DNS2=8.8.8.8
3.修改映射文件
vi /etc/hosts
# 添加
192.168.80.151 hadoop01
192.168.80.152 hadoop02
192.168.80.153 hadoop03
4.永久关闭防火墙
systemctl disable firewalld.service
//systemctl status firewalld.service 查看防火墙状态
//systemctl start firewalld.service 开启防火墙
//systemctl stop firewalld.service 关闭防火墙
reboot // 重启虚拟机
5.修改映射文件
//到此电脑中输入
C:\Windows\System32\drivers\etc
//添加
192.168.80.151 hadoop01
192.168.80.152 hadoop02
192.168.80.153 hadoop03
6.远程连接
打开SecureCRT >> 文件 >> 连接 >> 新建会话
// 修改
主机名: hadoop01 // hadoop01指的是主机名
用户名: root
//点连接然后输入您用户的密码即可登录
7.创建文件夹
mkdir /opt/software /opt/servers
8.切换工作目录
cd /opt/software
9.上传jdk和hadoop
10.解压JDK和Hadoop
tar -zxvf /opt/software/jdk-8u65-linux-x64.tar.gz -C /opt/servers
tar -zxvf /opt/software/hadoop-2.7.4.tar.gz -C /opt/servers/
11.重命名文件夹
mv /opt/servers/jdk1.8.0_65/ /opt/servers/jdk
mv /opt/servers/hadoop-2.7.4/ /opt/servers/hadoop
12.配置环境变量
vi /etc/profile
# 在文件末尾添加
export JAVA_HOME=/opt/servers/jdk
export HADOOP_HOME=/opt/servers/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
13.刷新环境变量
source /etc/profile
14.验证JDK和Hadoop是否安装成功
//验证JDK，能看到版本号说明安装成功
java -version
//验证Hadoop，能看到版本号说明安装成功
hadoop version
15.切换工作目录
cd /opt/servers/hadoop/etc/hadoop/
16.编辑core-site.xml
vi core-site.xml
# <configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/servers/hadoop/data/tmp</value>
</property>
# </configuration>
17.编辑hdfs-site.xml
vi hdfs-site.xml
# <configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:50090</value>
</property>
# </configuration>
18.编辑mapred-site.xml
//复制模板并重命名
cp mapred-site.xml.template mapred-site.xml
//编辑文件
vi mapred-site.xml
# <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
# </configuration>
19.编辑yarn-site.xml
vi yarn-site.xml
# <configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
# </configuration>
20.编辑slaves
vi slaves
// 删除 localhost
// 添加
hadoop01
hadoop02
hadoop03
21.编辑hadoop-env.sh
vi hadoop-env.sh
// 修改
export JAVA_HOME=/opt/servers/jdk
关机
poweroff
22.选中hadoop01虚拟机 >> 管理 >> 克隆 >> 下一页 >> 下一页 >> 创建完整克隆 >> 修改虚拟机名称及位置 >> 完成
// 需要两台虚拟机,所以我们要克隆2次
开启虚拟机 hadoop01 hadoop02 hadoop03
23.在hadoop02中操作
设置主机名
hostnamectl set-hostname hadoop02
编辑网卡
vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改 设置成你的hadoop02 IP地址
IPADDR=192.168.80.152
重启虚拟机
reboot
24.在hadoop03中操作
设置主机名
hostnamectl set-hostname hadoop03
编辑网卡
vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改 设置成你的hadoop03 IP地址
IPADDR=192.168.80.153
重启虚拟机
reboot
25.在hadoop01中操作
//生成机器间通信的密钥对，输入命令，直接按4个回车
ssh-keygen -t rsa
//创建authorized_keys文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
//修改authorized_keys文件权限为600
chmod 600 ~/.ssh/authorized_keys
//验证SSH是否安装成功
ssh localhost
第一次登陆需要输入yes
//分发公钥，在分发过程中需输入yes和分发对象机器的登录密码
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop02
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop03
26.开启集群
hdfs namenode -format
start-dfs.sh、start-yarn.sh 或 start-all.sh
27.验证
hadoop01:
1732 NameNode
1996 ResourceManager
2253 Jps
hadoop02:
1538 SecondaryNameNode
1642 NodeManager
1486 DataNode
1742 Jps
hadoop03
1683 Jps
1487 DataNode
1583 NodeManager
//在WEB中查看集群信息
打开浏览器中输入：
http://hadoop01:50070
http://hadoop01:8088
28.停止集群
stop-dfs.sh、stop-yarn.sh 或 stop-all.sh