自学大数据第四天~hadoop集群的搭建
Hadoop集群安装配置
当hadoop采用分布式模式部署和运行时,存储采用分布式文件系统HDFS,此时HDFS名称节点和数据节点位于不同的机器上;
数据就可以分布到多个节点,不同的数据节点上的数据计算可以并行执行了,这时候MR才能发挥其本该有的作用;
没那么多机器怎么办~~~~多几个虚拟机不就行了
克隆虚拟机
电脑存储不够的可以使用链接克隆的方式
修改虚拟机的网络配置~
以其中一个slave节点为例
- 启动虚拟机
- 关闭网卡服务,然后修改节点的ip
由于本节点启动时默认没有启动网卡,所以就不关闭了,
- 修改节点ip为静态IP
vi /etc/sysconfig/network-scripts/ifcfg-ens160
修改成如下地址:
- 设置网卡自动启动后启动网卡
[root@node1 hadoop]# vi /etc/sysconfig/network-scripts/ifcfg-ens160
[root@node1 hadoop]# systemctl enable NetworkManager
Created symlink /etc/systemd/system/multi-user.target.wants/NetworkManager.service → /usr/lib/systemd/system/NetworkManager.service.
Created symlink /etc/systemd/system/dbus-org.freedesktop.nm-dispatcher.service → /usr/lib/systemd/system/NetworkManager-dispatcher.service.
Created symlink /etc/systemd/system/network-online.target.wants/NetworkManager-wait-online.service → /usr/lib/systemd/system/NetworkManager-wait-online.service.
[root@node1 hadoop]# systemctl start NetworkManager
[root@node1 hadoop]# - ping一下其他节点
可以正常ping通,我们的机器就准备好了
为了便于区分节点,我们还需要修改各个节点的主机名
修改之后的具体配置如下
| 节点 | 节点名 | ip |
|---|---|---|
| master | master | 192.168.8.135 |
| slave1 | slave1 | 192.168.8.136 |
| slave2 | slave2 | 192.168.8.137 |
| slave3 | slave3 | 192.168.8.138 |
然后在虚拟机各个节点中添加映射关系
记得修改之后重启虚拟机
之后登录虚拟机就很容易辨认出当前是处于Master节点上进行操作，不会和Slave节点产生混淆。
重启之后测试一下配置是否成功
- 在master节点上ping一下slave*节点
#ping 3次就停止
ping slave1 -c 3
其他的节点自己测试一下就可以,这里不再展示
如果ping不通:
1,可能你没有重启机器
2,配置的文件内容检查一下