当前位置: 首页 > news >正文

解决Hadoop审计日志hdfs-audit.log过大的问题

【背景】

新搭建的Hadoop环境没怎么用,就一个环境天天空跑,结果今天运维告诉我说有一台服务器磁盘超过80%了,真是太奇怪了,平台上就跑了几个spark测试程序,哪来的数据呢?

【问题调查】

既然是磁盘写满了,那首先就要找到具体是什么数据写满的磁盘。

用df查看,是根目录,还不是数据盘;

df -h

于是用du命令再挨个检查目录,看看具体是什么文件这么大

du -h --maxx-depth=1 . 

终于发现在Hadoop的日志目录下,有一堆hdfs-audit.log日志,并且每个都有好几百M,删除之后,跟目录瞬间从81%减低到了42%;

问题是暂时解决了,可这样不是长久之计,审计日志还在写,过几天还得来删除。

【解决办法】

从Ambari页面上查看hdfs的配置,搜索关键字“audit”

接着往下拉,发现审计日志配置的是INFO级别:

 

于是改为WARN级别,保存后重启hdfs相关组件。

 

过了几天后,再检查服务器,发现磁盘根目录使用率没有明显增大,问题完美解决了~ 

http://www.lryc.cn/news/112046.html

相关文章:

  • 【Java】java和kotlin关于Json写文件
  • 【深度学习】采用自动编码器生成新图像
  • 华为云交付
  • dns瞅一瞅
  • springAOP的实例
  • 【JavaEE】深入了解Spring中Bean的可见范围(作用域)以及前世今生(生命周期)
  • P1320 压缩技术(续集版)
  • k8s(七) 叩丁狼 service Ingress
  • Android Studio 关于BottomNavigationView 无法预览视图我的解决办法
  • 【STM32】小电流FOC驱控一体板(开源)
  • 代码分析:循环创建N个子进程——为什么最后一个属于父进程?
  • 【SpringBoot面试题整理-超级有效】
  • 岩土工程仪器多通道振弦传感器信号转换器应用于隧道安全监测
  • 西瓜书读书笔记整理(五)—— 第四章 决策树
  • STM32 4G学习
  • Golang 中实现实时聊天通讯
  • 前端面试的性能优化部分(5)每天10个小知识点
  • 【链表OJ 1】移除链表元素val
  • 复原 IP 地址——力扣93
  • OSPF综合实验
  • 安卓4G核心板开发板_MTK6785/MT6785(Helio G95)安卓手机主板方案
  • Linux 匿名页的生命周期
  • 设计模式概述与UML图
  • 使用Vscode编辑keil工程
  • 编译工具:CMake(一) | 简介与安装
  • 深度学习(34)—— StarGAN(1)
  • ES6系列之let、const、箭头函数使用的坑
  • 4.DNS和负载均衡
  • 【JavaEE进阶】Spring核心与设计思想
  • 实习周记第三周