当前位置: 首页 > news >正文

Hadoop学习总结(Shell操作)

HDFS Shell 参数
命令参数功能描述
-ls查看指定路径的目录结构
-du统计目录下所有文件大小
-mv移动文件
-cp复制文件
-rm删除文件 / 空白文件夹
-put上传文件
-cat查看内容文件
-text将源文件输出文本格式
-mkdir创建空白文件夹
-help帮助

一、ls 命令

      ls 命令用于查看指定路径的当前目录结构,语法格式如下

hadoop fs -ls [-d] [-h] [-R]<args>  //<args>表示命令的可选参数
  • -d:将目录显示为普通文件。
  • -h:使用便于操作人员读取的单位信息格式。
  • -R:递归显示所有子目录的信息。

示例:查看根路径下的所有文件

hadoop fs -ls /

二、mkdir 命令

      mkdir 命令用于指定路径下创建子目录,其中创建的路径可以采用 URL 格式进行指定,语法格式如下

hadoop fs -mkdir [-p] <paths>

     其中 -p 参数表示创建子目录来先检查路径是否存在,如果不存在,则创建相应的各级目录。

示例:在根目录下创建 /test 目录 和 /exp/demo 目录

hadoop fs -mkdir /test
hadoop fs -mkdir -p /exp/demo

刷新 HDFS 集群状态,就能看到创建的目录

三、put 命令

      put 命令用于将本地系统文件或文件夹复制到 HDFS 上,语法格式如下

hadoop fs -put [-f] [-p] <locationsrc> <det>
  • -f:覆盖目标文件。
  • -p:保留访问和修改时间、权限。

示例:上传一个 data.txt 到 /exp/demo 目录

touch data.txt  或者   vi data.txt
hadoop fs -put data.txt /exp/demo

四、mv 命令

示例:把 /exp/demo/data.txt 移动到 /test 目录下

hadoop fs -mv /exp/demo/data.txt /test

刷新 HDFS 集群状态

五、cp 命令

示例:把 /test/data.txt 复制到根路径下

hadoop fs -cp /test/data.txt /

刷新 HDFS 集群状态

六、rm 命令

1、示例:把 /test/data.txt 文件删除

hadoop fs -rm /test/data.txt

刷新 HDFS 集群状态

2、示例:把 /exp/demo/ 目录删掉

hadoop fs -rm -r /exp/demo/

刷新 HDFS 集群状态

七、cat 命令

示例:查看 /data.txt 文件的内容

hadoop fs -cat /data.txt

八、get 命令

示例:把 /data.txt 文件下载到 /export/data目录下

 hadoop fs -get /data.txt /export/data

http://www.lryc.cn/news/219397.html

相关文章:

  • LeetCode热题100——链表
  • 使用C++的QT框架实现贪吃蛇
  • 如何发布自己的golang库
  • 梳理自动驾驶中的各类坐标系
  • 一个可以自动把微信聊天收到的二维码图片实时提取出来并分类的软件
  • 02-React组件与模块
  • 项目实战:新增@RequestMapping和@GetMapping和@PostMapping三个注解
  • 基于AOSP源码Android-10.0.0_r41分支编译,framework开发,修改系统默认字体大小
  • 如何再kali中下载iwebsec靶场
  • Spring Boot 使用断言抛出自定义异常,优化异常处理机制
  • vue基于ElementUI/Plus自定义的一些组件
  • leetcode刷题日记:69.sqrt(x)
  • [尚硅谷React笔记]——第9章 ReactRouter6
  • 强大的pdf编辑软件:Acrobat Pro DC 2023中文
  • 玩一下Spring Boot
  • 一个高性能类型安全的.NET枚举实用开源库
  • c#字符串格式化
  • AMD老电脑超频及性能提升方案及实施
  • Github 自动化部署到GitHub Pages
  • Golang 串口通信
  • 项目管理之如何识别并应对项目风险
  • vue封装独立组件:实现手写签名功能
  • 图及谱聚类商圈聚类中的应用
  • npx 和 npm 区别
  • HTML_案例1_注册页面
  • Adobe After Effects 2024(Ae2024)在新版本中的升级有哪些?
  • 超越 GLIP! | RegionSpot: 识别一切区域,多模态融合的开放世界物体识别新方法
  • webgoat-(A1)injection
  • 51单片机-中断
  • Canvas 梦幻树生长动画