当前位置: 首页 > news >正文

【HDFS】NN处理全量块汇报时reportDiff的一些细节

  • NN处理全量块汇报(FBR)时的一些细节
  • 怎么生成的toRemove
  • 怎么check 汇报上来的块是不是corrupt的?
  • reportDiff方法里巧妙地引入delimiterBlock这个block的作用

前置知识:【HDFS】Block、BlockInfo、BlockInfoContiguous、BlockInfoStriped的分析记录

上面的文章中介绍了关于BlockInfo类里move当前块到storage存储列表的头的方法。在本文要描述的reportDiff方法里会用到。

首先声明reportDiff方法的调用上下文:

datanode侧进行全量块汇报 -> NameNodeRpcServer#blockReport方法 -> BlockManager#processReport方法及重载 -> reportDiff方法 -> processReportedBlock方法

reportDiff详细分析:

  private void reportDiff(DatanodeStorageInfo storageInfo,BlockListAsLongs
http://www.lryc.cn/news/112459.html

相关文章:

  • JVM之类加载与字节码(一)
  • 【数据结构OJ题】合并两个有序数组
  • 数据结构笔记--归并排序及其拓展题(小和问题、逆序对问题)
  • flutter开发实战-实现css线性渐变转换flutter渐变LinearGradient功能
  • python推理小游戏bagels
  • DBSCAN聚类
  • java+ssm美食推荐交流系统 7jsw7
  • 基于php雪花算法工具类Snowflake -来自chatGPT
  • 怎么加密文件夹才更安全?安全文件夹加密软件推荐
  • 知识分享和Tomcat简单部署press应用
  • 回归预测 | MATLAB实现SO-CNN-BiGRU蛇群算法优化卷积双向门控循环单元多输入单输出回归预测
  • 步入React前厅 - 组件和JSX
  • SpringBoot整合Sfl4j+logback的实践
  • IT 基础架构自动化
  • Docker入门——保姆级
  • MONGODB ---- Austindatabases 历年文章合集
  • 菠萝头 pinia和vuex对比 pinia比vuex更香 Pinia数据持久化及数据加密
  • 机器学习笔记 - 关于GPT-4的一些问题清单
  • sql 参数自动替换
  • Linux——设备树
  • 网络:从socket编程的角度说明UDP和TCP的关系,http和tcp的区别
  • 大数据技术之Hadoop:HDFS集群安装篇(三)
  • 移动开发最佳实践:为 Android 和 iOS 构建成功应用的策略
  • 2023年第二届网络安全国际会议(CSW 2023)
  • 【100天精通python】Day23:正则表达式,基本语法与re模块详解示例
  • C++ 派生类成员的标识与访问——作用域分辨符
  • SQL注入实操三(SQLilabs Less41-65)
  • (亲测解决)PyCharm 从目录下导包提示 unresolved reference(完整图解)
  • 【AI量化模型】跑通baseline
  • ElasticSearch:全文检索及倒排索引原理