当前位置: 首页 > news >正文

详细教程-Linux上安装单机版的Hadoop

1、上传Hadoop安装包至linux并解压

tar -zxvf hadoop-2.6.0-cdh5.15.2.tar.gz

安装包:
链接:https://pan.baidu.com/s/1u59OLTJctKmm9YVWr_F-Cg 
提取码:0pfj

2、配置免密码登录

生成秘钥:
ssh-keygen -t rsa -P ''

将秘钥写入认证文件:
cd ~/.ssh
cat id_rsa.pub >> ~/.ssh/authorized_keys
修改认证文件权限:
chmod 600 ~/.ssh/authorized_keys

3、配置环境变量

Hadoop 加入环境变量 /etc/profile
vi /etc/profile

4、修改Hadoop配置文件

1 ) 修改hadoop-env.sh 文件
vi /usr/local/hadoop-2.6.0-cdh5.15.2/etc/hadoop/hadoop-env.sh
修改 JAVA_HOME :(这里要改成你自己linux中的jdk路径)
export JAVA_HOME=/usr/local/jdk1.8.0_181
2 )修改 core-site.xml 文件
<configuration><property><name>fs.defaultFS</name><value>hdfs://lcc:9090</value></property>
</configuration>
3)  修改 hdfs-site.xml 文件
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-2.6.0-cdh5.15.2/tmp</value></property>
</configuration>

4)  修改mapred-site.xml文件

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>
5 )修改 slaves 文件
vi slaves
改成上面的 lcc(这里就是你的一个主机名,注意要在hosts文件中配置好 ip地址 主机名)
这里配置的是单节点, 指向本机主机名称。
6)修改yarn-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

5、启动Hadoop服务

进入到sbin目录

cd /usr/local/hadoop-2.6.0-cdh5.15.2/sbin/

执行启动脚本

./start-all.sh

上传一个文件, 用于测试:

hdfs dfs -put /usr/local/hadoop-2.6.0-cdh5.15.2/etc/hadoop/hadoop-env.sh /

如果遇到如下报错:

请执行以下命令解决

再次重新执行hdfs上传即可

6、访问验证

至此Hadoop单机版安装完毕

http://www.lryc.cn/news/488719.html

相关文章:

  • C#桌面应用制作计算器进阶版01
  • [开源] 告别黑苹果!用docker安装MacOS体验苹果系统
  • 多模态大模型(4)--InstructBLIP
  • 【Linux】基于 Busybox 构建嵌入式 Linux(未完成)
  • Unet++改进38:添加GLSA(2024最新改进方法)具有聚合和表示全局和局部空间特征的能力,这有利于分别定位大目标和小目标
  • c++中mystring运算符重载
  • 图像处理 - 色彩空间转换
  • MariaDB面试题及参考答案
  • PostgreSQL常用字符串函数与示例说明
  • 力扣第58题:最后一个单词的长度
  • 【Maven】Nexus几个仓库的介绍
  • SSH免密登陆
  • 【Linux】Namespace
  • SQLite 和 MySQL语法区别
  • 基于BERT的命名体识别(NER)
  • 华为云鸿蒙应用入门级开发者认证考试题库(理论题和实验题)
  • SpringBoot+React养老院管理系统 附带详细运行指导视频
  • 使用element-plus el-table中使用el-image层级冲突table表格会覆盖预览的图片等问题
  • python读取Oracle库并生成API返回Json格式
  • 音视频入门基础:MPEG2-TS专题(5)——FFmpeg源码中,判断某文件是否为TS文件的实现
  • 每天10个vue面试题(九)
  • Jenkins的环境部署
  • 八、鸿蒙开发-网络请求、应用级状态管理
  • 经验笔记:Git 中的远程仓库链接及上下游关系管理
  • Paint 学习笔记
  • Jenkins修改LOGO
  • kafka是如何做到高效读写
  • Intern大模型训练营(九):XTuner 微调实践微调
  • 从一次java.io.StreamCorruptedException: invalid stream header: 48656C6C 错误中学到的调试思路
  • 树莓派的发展历史