当前位置: 首页 > news >正文

【大数据开发】报错汇总

目录

Hadoop

Attempting to operate on hdfs namenode as root

jps后没有namenode

Hive

Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

Caused by:org.apache.hadoop.ipc. RemoteException (org.apache.hadoop.hdfs.server.namenode.SafeModeException):Cannot create directory /tmp/hive. Name node is in safe mode


Hadoop

Attempting to operate on hdfs namenode as root

HDfs客户端报错

(31条消息) 两种解决ERROR: Attempting to operate on hdfs namenode as root的方法_世幻水的博客-CSDN博客

报错:

jps后没有namenode

解决

删除data logs 重新初始化namenode 

Hive

报错

Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

原因

hive和hadoop里的 guava.jar版本不一样

解决

cd /opt/module/hive-3.1.1/lib
ll |gerp guava
cd /opt/module/hadoop-3.1.3/share/hadoop/common/lib
ll |grep guava

比较两个guava-*-jre.jar的版本

rm guava-低版本的.jar
cp 高版本的 低版本的文件目录加guava-高版本的.jar

报错

Caused by:org.apache.hadoop.ipc. RemoteException (org.apache.hadoop.hdfs.server.namenode.SafeModeExcepti
on):Cannot create directory /tmp/hive. Name node is in safe mode

原因

NameNode 处于安全模式 ,对于客户端是only-read。

NameNode启动时,将镜像文件fsimage载入内存,并执行编辑日志edits log中的所有操作,从而建立完整的元数据metadata

满足最小副本条件(配置项minimal replication condition决定),NameNode 将会在随后(默认30s,配置项dfs.namenode.safemode.extension自动退出safemode

NameNode 处于安全模式有两种情况:

1. NameNode启动前30s.

2. 不满足最小副本条件。

参数:

属性名称数据类型默认值说明
dfs.namenode.replication.minint1成功执行写操作所需要创建的最小副本数目(也称为最小副本级别)
dfs.namenode.safemode.threshold-pctfloat0.999在namenode退出安全模式之前,系统中满足最小副本级别(dfs.namenode.replication.min定义)的块的比例。将这项值设为0或更小会令namenode无法启动安全模式;设为高于1则永远不会退出安全模式
dfs.namenode.safemode.extensionint30000在满足最小副本条件(由dfs.namenode.safemode.threshold-pct定义)之后,namenode还需要处于安全模式的时间(以毫秒为单位)。对于小型集群(几十个节点)来说,这项值可以设为0

解决

 等待30s后,再启动Hive;

如果不行可以强制退出

# hdfs:可执行命令
# dfsadmin:运行一个dfs admin client
# -safemode:参数,安全模式
# get:参数,是否安全模式(on表示是,off表示否)
# enter:参数,进入安全模式
# leave:参数,离开安全模式hdfs dfsadmin -safemode get    # NameNode是否出于安全模式hdfs dfsadmin -safemode enter    # 进入安全模式hdfs dfsadmin -safemode leave    # 离开安全模式

来源:

启动 hive 报错:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeE... - 简书 (jianshu.com)

http://www.lryc.cn/news/39855.html

相关文章:

  • HTTPS的加密原理(工作机制)
  • Git仓库迁移
  • 用CHATGPT生成C++面试题及答案
  • 二进制,八进制,十进制,十六进制的相互转换【简单易懂】(含代码模板)
  • Redis技术详解
  • 解决mybatis-plus updateById方法不能set null
  • Linux的mysql 数据库及开发包安装
  • π-Day快乐:Python可视化π
  • 【论文速递】ACM MM 2022 - 基于统一对比学习框架的新闻多媒体事件抽取
  • 数据库分库分表
  • 【C缺陷与陷阱】----语义“陷阱”
  • JavaWeb--VUE
  • 2分钟彻底搞懂“高内聚,低耦合”
  • 网络编程UDP TCP
  • 【2023-Pytorch-检测教程】手把手教你使用YOLOV5做电线绝缘子缺陷检测
  • 交叉编译(NDK)
  • 【数据库】MySQL 解读事务的意义及原则
  • 【Linux】冯诺依曼体系结构
  • 【小白】git是什么?gitee和git和github的关系?
  • UDS 14229 -1 刷写34,36,37服务,标准加Trace讲解,没理由搞不明白
  • 【Android -- 软技能】聊聊程序员的软技能
  • 【Java学习笔记】27.Java 抽象类
  • Vite4 + Vue3 + vue-router4 动态路由
  • MS(mbed l432KC)-->速通9个lab详细解析[5]
  • XXE漏洞复现
  • 初识C++需要了解的一些东西(2)
  • 全国程序员薪酬大曝光!看完我酸了····
  • 改进YOLO系列 | CVPR2023最新Backbone | FasterNet 远超 ShuffleNet、MobileNet、MobileViT 等模型
  • Nginx常见用法
  • MySQL存储引擎和日志管理