当前位置: 首页 > news >正文

Hadoop Hdfs基本命令

0目录

1.hadoop安装问题处理

2.hdfs基本命令

3.上传/下载文件和文件夹

1.hadoop安装问题处理

如果安装有进程无法启动,如下图

重新检查6个配置文件

Core-site.xml \ hdfs-site.xml \ hadoop-env.sh \ yarn-site.xml \ workers \ yarn-site.xml

来到hadoop313目录

清空data和yarndata

重新初始化

测试

2.hadoop hdfs基本命令

Windows目录添加端口号

测试

分布式启动命令

关闭

启动dfs.sh

关闭dfs.sh

启动yarn

对应

dfs.sh   对应    DataNode / NameNode / SecondaryNameNode

yarn.sh  对应    ResourceManager / NodeManager

启动单一进程

来到sbin目录下 启动hdfs

启动yarn

3.上传/下载文件夹和文档

目前没有文件和文档

Opt 目录下创建kb23tmp文件夹,kb23tmp创建hellohadoop.txt

编辑hellohadoop.txt

上传

上传成功

上传文件 来到install目录下

hdfs 创建 install文件

上传

[root@kb130 install]# hdfs dfs -put ./hadoop313.gz /install

上传成功

3个节点

删除文档

删除文件夹

下载 将hellohadoop.txt 下载到当前(kb23tmp目录下)

补充常见端口号

  • 常用端口号
    hadoop3.x
    HDFS NameNode 内部通常端口: 8020/9000/9820
    HDFS NameNode 对用户的查询端口:9870
    Yarn查看任务运行情况的:8088
    历史服务器:19888
    hadoop2.x
    HDFS NameNode内部通常端口:8020/9000
    HDFS NameNode 对用户的查询端口: 50070
    Yarn查看任务运行情况的:8088
    历史服务器:19888
    二、常用的配置文件
    3.x 
    core-site. xml hdfs-site. xml yarn-site. xml mapred-site.xml workers
    2.x 
    core-site. xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves

Yarn

开启历史服务器

http://www.lryc.cn/news/144840.html

相关文章:

  • Spring Boot 整合MyBatis(超详细)
  • 【管理运筹学】第 6 章 | 运输问题(4,表上作业法 |闭回路调整法以及特殊情况 | 产销不平衡的运输问题)
  • Greenplum实用技巧
  • 以物联网为核心的智慧工地云平台:聚集智能技术,实现建筑工地智慧管理
  • Java项目-苍穹外卖-Day05-Redis技术应用
  • linux安装jmeter
  • 【笔记】泛型以及如何绕过泛型定义
  • JAVA JNA 调用C接口的三种方式
  • StarRocks入门到熟悉
  • 华为AR路由器 典型配置案例——以太网交换
  • DP读书:鲲鹏处理器 架构与编程(十三)操作系统内核与云基础软件
  • Vue2项目练手——通用后台管理项目第一节
  • 「Vue|网页开发|前端开发」02 从单页面到多页面网站:使用路由实现网站多个页面的展示和跳转
  • 【Nginx20】Nginx学习:FastCGI模块(二)缓存配置
  • 苹果支付外包开发流程
  • 银河麒麟V10(Tercel)服务器版安装 Docker
  • web、HTTP协议
  • 达梦SQL书写注意事项
  • 博途1200脉冲输出控制速度轴(轴工艺对象基本配置)
  • 微信小程序 通过setData 给两个变量设置同一个数组时,为什么修改一个变量,另一个会也被修改?
  • 保障Web安全:构建可靠的网络防御体系
  • LeetCode--HOT100题(44)
  • 大模型调试debug记录
  • 对话谷歌首席技术官肖恩,搜索引擎的里程碑,来看看搜索引擎界的大哥Algolia的“快、准、狠”突围关键
  • DP读书:鲲鹏处理器 架构与编程(十二)鲲鹏软件实战案例
  • 前端 -- 基础 VSCode 工具生成骨架标签新增代码 解释详解
  • 爬虫逆向实战(二十三)--某准网数据
  • ruoyi--数据权限
  • 快速开发平台是什么?和传统开发平台相比有哪些区别?
  • Android基于JNI的Java与C++互调