当前位置: 首页 > news >正文

ClassNotFoundException: org.apache.hive.spark.client.Job

hive使用的是3.13版本,spark是3.3.3支持hadoop3.x

hive将engine从mr改成spark,通过beeline执行insert、delete时一直报错,sparkTask rpc关闭,

查看yarn是出现ClassNotFoundException: org.apache.hive.spark.client.Job。

开始以为是版本不兼容问题。spark3.3.3编译版本对应的hive是2.3.9

切换hive2.3.9依然是org.apache.hive.spark.client.Job找不到问题。

spark的jars目录存在hive-exec-core-2.3.9.jar,反复对比hive的lib目录,发现是hive-exec.jar没有core,将spark3.3.3下hive的hive-exec-core-2.3.9.jar删掉,替换成hive下的lib文件,重启spark和hive,这个错误消失了

重新执行命令,又出现找不到其他类的情况,可能是spark官方发布的hive相关包和hive发布版的有差别把。什么原因,不知道,先替换试试。替换了还不太行,引发其他问题,自己编译吧

End of LogType:launch_container.sh.This log file belongs to a running container (container_1701103942975_0002_01_000001) and so may not be complete.
 

环境:hive查询数据,yarn查看日志出现上面的错误

yarn application -list

yarn logs -applicationId application_1701103942975_0002

到hadoop的目录查询运行日志


 

http://www.lryc.cn/news/249796.html

相关文章:

  • 《合成孔径雷达成像算法与实现》_使用CS算法对RADARSAT-1数据进行成像
  • GCN01——Ubuntu中设置vivado编辑器为vscode
  • Android 11.0 软硬键盘同时使用的兼容(软键盘与内置物理键盘共存)
  • ARM安全架构——为复杂软件提供保护
  • 提升网页交互体验的秘密武器——防抖和节流
  • HX3002入耳检测光感驱动调试-感0x08 寄存器溢出,不变化错误问题解决方法
  • 目标检测开源数据
  • AI模特换装的前端实现
  • git-5
  • qt 5.15.2压缩和解压缩功能
  • thinkphp6出现 htmlentities() expects parameter 1 to be string, array given
  • 【android开发-03】android中Intent的用法介绍
  • Java中时间工具详解:java.time包的应用
  • mysql 日志分析
  • 网络运维与网络安全 学习笔记2023.11.30
  • Perplexity 推出全新大型在线语言模型
  • python中的函数定义
  • 信贷销售经理简历模板
  • js事件流与事件委托/事件代理
  • 代码随想录算法训练营第三十八天| 509 斐波那契数 70 爬楼梯 746 使用最小花费爬楼梯
  • windows 此系统禁止运行脚本报错处理
  • 西南科技大学数字电子技术实验一(数字信号基本参数与逻辑门电路功能测试及FPGA 实现)FPGA部分
  • List系列集合
  • SQL 金额数值转换成中文大写
  • 在Linux上安装KVM虚拟机
  • 软件设计之原型模式
  • Android之高级UI
  • Qt:解决跨线程调用socket/IO类,导致报错的问题
  • 长沙电信大楼火灾调查报告发布:系烟头引发。FIS来护航安全
  • 【Web系列二十七】Vue实现dom元素拖拽并限制移动范围