当前位置: 首页 > news >正文

Linux环境安装Hadoop

(1)下载Hadoop安装包并上传

下载Hadoop安装包到本地,并导入到Linux服务器的/opt/software路径下

(2)解压安装包

解压安装文件并放到/opt/module下面

[root@hadoop100  ~]$ cd /opt/software
[root@hadoop100 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

(3)将Hadoop添加到环境变量

 [root@hadoop100  ~]$ vim /etc/profile.d/hadoop_env.sh

在hadoop_env.sh文件末尾添加如下内容:

 #HADOOP_HOME
 export HADOOP_HOME=/opt/module/hadoop-3.1.3
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出:  :wq

(4)让修改文件生效

  [root@hadoop100 ~]$ source /etc/profile

如果命令还不能让hadoop生效,则重启虚拟机

[root@hadoop100 ~]$ sudo reboot

(5)测试是否安装成功

  [root@hadoop100 ~]$  hadoop version

(6)查看Hadoop目录结构

以下是Hadoop文件中重要的目录:

- bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本
- etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件
- lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)
- sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
- share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例

(7)扩展:本地测试官方案例WordCount

WordCount是一个统计文件内单词数量的程序。可以理解为MapReduce的helloword。

1)创建测试文件

 [root@hadoop100 ~]$ cd /opt/module/hadoop-3.1.3[root@hadoop100 hadoop-3.1.3]$  mkdir wcinput[root@hadoop100 hadoop-3.1.3]$  cd wcinput[root@hadoop100 wcinput]$   vim word.txt

在文件中输入以下内容:

hadoop yarn
hadoop mapreduce
test
test

保存并退出:  :wq

 2)执行程序

回到Hadoop目录/opt/module/hadoop-3.1.3,执行程序

  [root@hadoop100 wcinput]$   cd ../[root@hadoop100 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

命令结构:

hadoop jar  Jar包的路径  Jar包的主类 传递给主类的参数地址  由主类执行后输出的结果地址

3)查看结果

[root@hadoop100 hadoop-3.1.3]$ cat wcoutput/part-r-00000

http://www.lryc.cn/news/265351.html

相关文章:

  • swing快速入门(二十五)
  • 智能优化算法应用:基于卷尾猴算法3D无线传感器网络(WSN)覆盖优化 - 附代码
  • 前端传输formDate格式的数据,后端不能用@RequestBody接收
  • 【AivaAI】做音乐,无人能比它更专业
  • 嵌入式开发网络配置——windows连热点,开发板和电脑网线直连
  • 基于Netty构建Websocket服务端
  • 基于Rocket MQ扩展的无限延迟消息队列
  • Python办公自动化 – 日志分析和自动化FTP操作
  • MyBatis 关联查询
  • NVIDIA NCCL 源码学习(十二)- double binary tree
  • .net core webapi 大文件上传到wwwroot文件夹
  • C++设计模式 #3策略模式(Strategy Method)
  • 金融知识——OMS、EMS和PMS分别是什么意思
  • Docker——微服务的部署
  • AI时代架构设计新模式
  • 速盾网络:高防IP的好处
  • 创建Maven Web工程
  • 【PHP入门】2.2 流程控制
  • springCould中的zookeeper-从小白开始【3】
  • Node.js-模块化(二)
  • MAC 安装nginx
  • 开源 AI 新秀崛起:Bittensor 更像是真正的“OpenAI”
  • 设计模式:循序渐进走入工厂模式
  • 如何将图片(matlab、python)无损放入word论文
  • 在Next.js和React中搭建Cesium项目
  • docker学习(十、搭建redis集群,三主三从)
  • ES排错命令
  • 爬虫实战案例 -- 爬取豆瓣读书网页内容
  • 某电子文档安全管理系统 SQL注入漏洞复现
  • ant-design-vue Message 用法以及内容为 html片段情况