当前位置: 首页 > news >正文

hbase读写操作后hdfs内存占用太大的问题

hbase读写操作后hdfs内存占用太大的问题

  • 查看内存信息
  • hbase读写操作

查看内存信息

查看本地磁盘的内存信息

df -h

查看hdfs上根目录下各个文件的内存大小

hdfs dfs -du -h /

查看hdfs上/hbase目录下各个文件的内存大小

hdfs dfs -du -h /hbase

查看hdfs上/hbase/oldWALs目录下各个文件的内存大小

hdfs dfs -du -h /hbase/oldWALs

hbase读写操作

在这里插入图片描述
每一个hbase的读写操作日志都会占358MB的内存,内存占用很大。
可以设置hdfs的最小块的大小 小于128MB。
每次操作完hbase后记得删除这里的文件。

在/opt/software/ 下面可以多放写大文件。当内存不够使可以删除一些。因为hadoop在文件读写时内存不够使,会进入安全模式,因为没有读写完,手动退出安全模式后依然会再次进入安全模式,会很麻烦。这时可以先删一些之前存的大文件等内存资源充足后,hadoop的读写操作完后,解除安全模式后,才能删除/hbase/oldWALs 下面的文件。

hdfs dfs -rm -r /hbase/oldWALs/*
http://www.lryc.cn/news/503204.html

相关文章:

  • C++----入门篇
  • C语言程序设计P5-5【应用函数进行程序设计 | 第五节】—知识要点:变量的作用域和生存期
  • 用 Sass 模块化系统取代全局导入,消除 1.80.0 引入的 @import 弃用警告
  • 安卓低功耗蓝牙BLE官方开发例程(JAVA)翻译注释版
  • 搭建fastapi项目
  • Maven学习(Maven项目模块化。模块间“继承“机制。父(工程),子项目(模块)间聚合)
  • 华为云云原生中间件DCS DMS 通过中国信通院与全球IPv6测试中心双重能力检测
  • PostgreSQL中事件触发器Event Trigger
  • uni.request流式(Stream)请求,实现打印机效果
  • canvas保存图片
  • DNS到底有什么用?
  • 什么是CRM系统?CRM系统的功能、操作流程、生命周期
  • 美畅物联丨JS播放器录像功能:从技术到应用的全面解析
  • 我们来学mysql -- 事务并发之不可重复读(原理篇)
  • ABAQUS进行焊接仿真分析(含子程序)
  • BAPI_GOODSMVT_CREATE物料凭证增强字段
  • tomcat的优化和动静分离
  • [ShaderLab] 【Unity】【图像编程】理解 Unity Shader 的结构
  • vue的前端架构 介绍各自的优缺点
  • 可信AI与零知识证明的概念
  • JavaScript逆向时,常用的11个hook
  • PCL点云库入门——PCL库可视化之CloudViewer类简单点云信息显示
  • C++ 【衔接篇】
  • qcreator 调试原理
  • Windows 系统中的组策略编辑器如何打开?
  • scala的泛型类
  • 基于Couchbase的数据构建方案:数仓分层
  • 信创改造-Spring Boot 项目部署至 TongWeb
  • supervision - 好用的计算机视觉 AI 工具库
  • 程序的调试