当前位置: 首页 > article >正文

Hdfs(五)DataNode

HDFS(Hadoop Distributed File System)是一个分布式文件系统,设计用于在商用硬件上运行。HDFS有一个称为Datanode的组件,它们负责管理集群中的数据存储。

HDFS的Datanode是集群中的一个节点,它们存储文件数据并执行数据块的读写操作。每个文件都被分割成一个或多个数据块,这些数据块被存储在不同的Datanode上以实现容错和高可用性。

Datanode简介

Datanode是HDFS文件系统的工作节点,它们根据客户端或者是namenode的调度进行存储和检索数据,并且定期向namenode发送它们所存储的块(block)的列表。

 

NameNode上并不永久保存各个DataNode上数据块的信息,而是通过DataNode启动时的上报程序来更新NameNode上的映射表。

根据客户端或者是namenode的调度存储和检索数据,并且定期向namenode发送所存储的块(block)的列表
数据块block在DataNode进程所在节点上是以文件的形式存储在本地磁盘上

工作内容

数据存储:

DataNode负责存储数据块,这些数据块通常是HDFS中文件的一部分。
每个DataNode都有一个或多个本地磁盘用于存储数据块。
Hadoop默认将数据块复制到

http://www.lryc.cn/news/2417690.html

相关文章:

  • PNG文件格式详解
  • phoenix 使用技巧
  • Lombok常用注解总结
  • (P33-P35)lambda表达式语法,lambda表达式注意事项,lambda表达式本质
  • mariaDB(mysql数据库)-安装配置和使用
  • 理解:QPS、TPS、RT、吞吐量
  • MinGW安装教程
  • Java中 static 关键字相关的用法
  • ADB 安装 + 打驱动全教程
  • 不同的存储库(Repository)模式实现
  • 开源项目 `signature` 使用教程
  • GCC详解-Binutils工具之strip
  • 消息传递机制之Handler使用总结
  • 一分钟快速过安卓四大组件——Activity篇
  • 2024年最新GIMP(Linux下的Photoshop)-KOS安装教程_linux photoshop
  • 19 张图概览 Spring Cloud(收藏夹吃亏系列)
  • linux后台运行nohup | 进程查看、终止 | linux基础命令记录
  • Mybatis-Plus理解及使用
  • 前端进阶之路——域名(domain)
  • win11下配置visual studio 2022+PCL1.13.0
  • 50个常用的 Numpy 函数详解!
  • kali简介
  • Java | final关键字快速上手【通俗易懂,看这篇就够了】
  • UUID介绍与生成方法
  • fps游戏战斗相关漫谈(五)
  • 安卓工程师必须了解的Gradle知识
  • ASCII码对照表(包括十六进制、十进制和字符)
  • 如何使用Chat GPT
  • 适合小白入门!Sqlite数据库学习(附操作过程截图)
  • 大白话讲vuex