当前位置: 首页 > news >正文

hdfs之读写流程

写入流程:

客户端Client想将文件a.txt上传至hdfs,首先向Namenode发送请求进行权限校验,Namenode通过后会计算出来三个节点,并将这三个节点告知客户端,客户端将输入进行切割成块,一个一个的块进行传输,单位是packet,大小64kb,各个数据节点之间也会创建pipeline,中间也是传递的packet,各个节点传递成功后会进行应答响应,最后汇总在一起告知客户端传递好了。各个数据节点之间传递数据是同时进行的。

 

 

 读取流程:

客户端想将hdfs上的文件a.txt读取出来,先向Namenode进行权限校验,成功后Namenode将a.txt在各个节点的存储信息位置告知客户端(元数据),然后客户端去客户端上拉取数据,最后将拉取的块文件汇总在一起形成新的文件。

 

http://www.lryc.cn/news/528495.html

相关文章:

  • 研发的立足之本到底是啥?
  • Baklib揭示内容中台与人工智能技术的创新协同效应
  • 智慧消防营区一体化安全管控 2024 年度深度剖析与展望
  • 自定义数据集,使用 PyTorch 框架实现逻辑回归并保存模型,然后保存模型后再加载模型进行预测
  • UE5 特效
  • CMAKE工程编译好后自动把可执行文件传输到远程开发板
  • Windows 程序设计7:文件的创建、打开与关闭
  • 策略模式 - 策略模式的使用
  • 具身智能研究报告
  • Windows安装Milvus
  • Excel分区间统计分析(等步长、不等步长、多维度)
  • 宝塔mysql数据库容量限制_宝塔数据库mysql-bin.000001占用磁盘空间过大
  • LeetCode 2412.完成所有交易的初始最少钱数:【年度巨献】举例说明(讲明白),由难至简(手脚不乱),附Python一行版
  • 多人-多agent协同可能会挑战维纳的反馈
  • Go学习:类型转换需注意的点 以及 类型别名
  • C语言中的局部变量和全局变量有什么区别?
  • 价值交换到底在交换什么
  • C++传送锚点的内存寻址:内存管理
  • Prompt提示词完整案例:让chatGPT成为“书单推荐”的高手
  • 基于django的智能停车场车辆管理深度学习车牌识别系统
  • 【Proteus仿真】【51单片机】简易计算器系统设计
  • 洛谷P3884 [JLOI2009] 二叉树问题(详解)c++
  • 《Foundation 起步》
  • 【hot100】刷题记录(6)-轮转数组
  • Android createScaledBitmap与Canvas通过RectF drawBitmap生成马赛克/高斯模糊(毛玻璃)对比,Kotlin
  • ThinkPad E480安装Ubuntu 18.04无线网卡驱动
  • 自然语言处理——从原理、经典模型到应用
  • Ollama 运行从 ModelScope 下载的 GGUF 格式的模型
  • Haproxy介绍及学习
  • 【2024年华为OD机试】 (C卷,200分)- 贪心歌手(JavaScriptJava PythonC/C++)