当前位置: 首页 > news >正文

hdfs笔记

1.HDFS shell
    1.0查看帮助
        hadoop fs -help <cmd>
    1.1上传
        hadoop fs -put <linux上文件> <hdfs上的路径>
    1.2查看文件内容
        hadoop fs -cat <hdfs上的路径>
    1.3查看文件列表
        hadoop fs -ls /
    1.4下载文件
        hadoop fs -get <hdfs上的路径> <linux上文件>

2.使用java接口操作HDFS
    见eclipse工程下的demo

3.hadoop通信机制
    不同进程之间的方法进行调用

4.HDFS源码分析
    FileSystem.get --> 通过反射实例化了一个DistributedFileSystem --> new DFSCilent()把他作为自己的成员变量
    在DFSClient构造方法里面,调用了createNamenode,使用了RPC机制,得到了一个NameNode的代理对象,就可以和NameNode进行通信了
    
    FileSystem --> DistributedFileSystem --> DFSClient --> NameNode的代理
    
5.Hadoop学习资料下载

Hadoop-HDFS-Shell-学习资料及文档、Java代码

http://www.lryc.cn/news/193666.html

相关文章:

  • java_方法引用和构造器引用
  • Flink Log4j 2.x使用Filter过滤日志类型
  • Ubuntu下怎么配置vsftpd
  • 链表(7.27)
  • 在 Elasticsearch 中实现自动完成功能 1:Prefix queries
  • 『PyQt5-Qt Designer篇』| 13 Qt Designer中如何给工具添加菜单和工具栏?
  • Android Studio新建项目教程
  • 前端页面布局之【响应式布局】
  • 定制排序小案例
  • 如何设计一个ToC的弹窗
  • Idea执行Pom.xml导入jar包提示sun.misc.BASE64Encoder jar找不到---SpringCloud工作笔记197
  • 大数据面试题:Spark和Flink的区别
  • 2023年9月青少年软件编程(C 语言) 等级考试试卷(二级)
  • 【Wifi】Wifi架构介绍
  • 攻防世界数据逆向 2023
  • 分布式链路追踪如何跨线程
  • 怎样在线修剪音频文件了?【免费,无须注册】
  • iMeta框架使用方法
  • 视频编辑软件 Premiere Pro 2024 macv24.0中文版 (pr2024)
  • C/C++:双向队列的实现
  • MySQL逻辑架构
  • python爬虫练手项目之获取某地企业名录
  • Python —— 接口自动化(1)
  • 【MySQL】关于MySQL升级到8.0版本的实践方案
  • 【Python-Django】基于TF-IDF算法的医疗推荐系统复现过程
  • 车辆车型识别系统python+TensorFlow+Django网页界面+算法模型
  • 小程序如何设置各种时间参数
  • CSS变量 var()的用法
  • 设计模式——21. 中介者模式
  • fastjson 1.2.47 远程命令执行漏洞