Hdfs(五)DataNode
HDFS(Hadoop Distributed File System)是一个分布式文件系统,设计用于在商用硬件上运行。HDFS有一个称为Datanode的组件,它们负责管理集群中的数据存储。
HDFS的Datanode是集群中的一个节点,它们存储文件数据并执行数据块的读写操作。每个文件都被分割成一个或多个数据块,这些数据块被存储在不同的Datanode上以实现容错和高可用性。
Datanode简介
Datanode是HDFS文件系统的工作节点,它们根据客户端或者是namenode的调度进行存储和检索数据,并且定期向namenode发送它们所存储的块(block)的列表。
NameNode上并不永久保存各个DataNode上数据块的信息,而是通过DataNode启动时的上报程序来更新NameNode上的映射表。
根据客户端或者是namenode的调度存储和检索数据,并且定期向namenode发送所存储的块(block)的列表
数据块block在DataNode进程所在节点上是以文件的形式存储在本地磁盘上
工作内容
数据存储:
DataNode负责存储数据块,这些数据块通常是HDFS中文件的一部分。
每个DataNode都有一个或多个本地磁盘用于存储数据块。
Hadoop默认将数据块复制到