当前位置: 首页 > news >正文

基于VM虚拟机下Ubuntu18.04系统,Hadoop的安装与详细配置

参考博客:

https://blog.csdn.net/duchenlong/article/details/114597944

与上面这个博客几乎差不多,就是java环境配置以及后面的hadoop的hdfs-site.xml文件有一些不同的地方。 

准备工作

1.更新

# 更新
sudo apt update
sudo apt upgrade

2.关闭防火墙( 不用单独开辟端口)

sudo ufw disable

创建Hadoop用户

# 创建Hadoop用户,并使用/bin/bash作为shell
sudo useradd -m hadoop -s /bin/bash# 为Hadoop设置登录密码
sudo passwd hadoop# 增加管理员权限
sudo adduser hadoop sudo

创建一个Hadoop用户,是因为可以避免Hadoop在运行的过程中影响到其他用户的正常使用。

增加管理员权限可以避免Hadoop在运行时,出现一些权限的问题,比如在一些目录下创建文件等。

如何后续的安装在hadoop用户下进行

# 切换为 Hadoop用户
su hadoop

或者退出当前用户:

方法一:使用快捷键Ctrl+D组合键

方法二:在终端中输入$exit或者$logout命令,然后按下回车键就可退出当前用户会话

安装Java 

如果安装的Hadoop是2.*版本的,那么需要安装的java版本最好是1.8,默认安装的是11,在配置伪分布式节点时会报一些警告

sudo apt install openjdk-8-jdk

配置环境变量( Ctrl + s 保存,Ctrl + x 退出)

nano ~/.bashrc

在结尾添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

然后更新环境变量

# 更新环境变量
source ~/.bashrc

查看是否安装成功,以及java的版本信息

# 查看是否安装成功
whereis java# java的版本信息
java-version# 环境变量是否导入成功
echo $JAVA_HOME

 

设置ssh免密登录

# 登录localhost
ssh localhost

(忘记直接截图在哪了,放上面博客博主的图吧,操作一样)

然后会在~/目录下发现一个.ssh文件。

配置秘钥,免密登录

# 到.ssh 目录下
cd ~/.sshssh-keygen -t rsa

# 加入授权
cat ./id_rsa.pub >> ./authorized_keys

再次输入$ssh localhost不需要密码的话,就是配置成功了

Hadoop下载安装

安装地址:https://blog.csdn.net/m0_62110645/article/details/134403165?spm=1001.2014.3001.5502

我是使用共享文件夹安装的:

在在virtualbox的ubuntu虚拟机上设置共享文件夹步骤:

1.设置共享文件夹

自行设定共享文件夹路径以及名称,记得勾选自动挂载(A),运行虚拟机的时候才会自动加载该文件夹。

# 将hadoop 压缩包在/usr/local 目录下解压
sudo tar -zxvf hadoop-2.10.1.tar.gz -C /usr/local/# 进入该目录
cd /usr/local# 更新名字文hadoop
sudo mv ./hadoop-2.10.1/ ./hadoop# 修改文件权限
sudo chown -R hadoop ./hadoop 

 配置java环境变量在hadoop中

# 进入配置文件目录
cd /usr/local/hadoop/etc/hadoop# 打开文件
nano hadoop-env.sh

查看hadoop版本信息 

# 进入bin目录
cd /usr/local/hadoop/bin./hadoop version

 

 

伪分布式安装

# 进入配置文件的目录
cd /usr/local/hadoop/etc/hadoop

 需要修改的两个文件core-site.xmlhdfs-site.xml文件

修改core-site.xml文件为:

nano core-site.xml
<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

修改hdfs-site.xml文件为:

nano hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property><property><name>dfs.http.address</name><value>localhost:50070</value></property>
</configuration>

这里我直接是localhost:50070,在自己主机上访问。因为我按教程来,但是得不到一样的结果,就启动不出教程192.168.*的界面。后来经过四处搜索方法。在终端输入$ifconfig,显示我的是10.0.2.15 。

尝试过什么修改为桥接网络等等各种方法,但始终不成功,所以我干脆修改为只在自己主机运行。

http://www.lryc.cn/news/239775.html

相关文章:

  • 【图像分类】基于深度学习的垃圾分类系统的设计与实现(ResNet网络,附代码和数据集)
  • MFS分布式文件系统
  • Hadoop -hdfs的读写请求
  • 【c++Leetcode】206. Reverse Linked List
  • [项目管理-33/创业之路-87/管理者与领导者-127]:如何提升自己项目管理的能力和水平
  • 记录一次因内存不足而导致hiveserver2和namenode进程宕机的排查
  • c# 基础语法
  • 【译】什么时候使用 Spring 6 JdbcClient
  • VR全景:赋能城市园区建设,打造3DVR城市名片
  • 孟德尔随机化写作技巧mr
  • 社会媒体营销提问常用的ChatGPT通用提示词模板
  • 智慧储能边缘计算网关应用,提升能源效率
  • 利用 Apache Ranger 管理 Amazon EMR 中的数据权限
  • HarmonyOS(三)—— 应用程序入口—UIAbility
  • Vuetify:定制化、响应式的 Vue UI 库 | 开源日报 No.83
  • 使用PySpark 结合Apache SystemDS 进行信号处理分析 (离散傅立叶变换)的简单例子
  • AT89S52单片机的最小应用系统
  • Pytorch中的tensor维度理解
  • 2019年12月 Scratch(三级)真题解析#中国电子学会#全国青少年软件编程等级考试
  • matlab-实现-BP-神经网络
  • 基于go-zero的rpc服务示例
  • 【算法】奇偶游戏(带权并查集)
  • 补充:linux rsyslog配置多端口监听(基于UDP)
  • 详解StringBuilder和StringBuffer(区别,使用方法,含源码讲解)
  • 九、sdl显示bmp图片
  • ROS设置DHCP option121
  • ④【Set】Redis常用数据类型: Set [使用手册]
  • 助力企业前行——ScalaSpark最佳实践课程
  • pikachu靶场Table pikachu.member doesn’t exist:解决
  • Github Copilot AI编码完成工具