当前位置: 首页 > news >正文

hive3.1.2编译spark3安装包

此安装包是《去破解站长》在公司真实生产环境所使用的安装包。

引言:Hive引擎包括:默认MR、tez、spark

Download:www.qupojie.com

1、Hive on Spark

1、Hive onSpark:Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,执行引擎变成了Spark,Spark负责采用RDD执行。

2、Spark on Hive : Hive只作为存储元数据,Spark负责SQL解析优化,语法是Spark
SQL语法,Spark负责采用RDD执行。

2、hive3.1.2编译

  • 使用hive3.1.2和spark3.0.0配置hive on
    spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容。
  • hive3.1.2默认支持的版本为spark2.3.0,而spark3.0对应的hadoop版本是hadoop2.6或hadoop2.7或更高。
  • 所以,如果想要使用高版本的hive和hadoop,我们要重新编译hive,兼容spark3.0.0。
  • 目前,有关hive3.1.2编译的帖子相对较少,,除了兼容spark3.0.0外,还将hive3.1.3的guava的版本提升到了hadoop3.x一致,以兼容hadoop3.2.0。
  • 另外还修复官方hive3.1.2release版本的一些bug,详见hive3.1.2修复bug。
http://www.lryc.cn/news/488999.html

相关文章:

  • 网络安全,文明上网(1)享科技,提素养
  • ESP32 烧录问题
  • CnosDB 实时流式计算:优化时序数据处理与降采样解决方案
  • ApiChain 从迭代测试用例到项目回归测试 核心使用教程
  • 数据集-目标检测系列- 花卉 玫瑰 检测数据集 rose >> DataBall
  • django从入门到实战(四)——模型与数据库
  • LeetCode:1008. 前序遍历构造二叉搜索树
  • gdb - 调试工具 - 入门 (一)
  • Swift内存访问冲突
  • 深入理解Spring(三)
  • TB6612电机驱动模块使用指南
  • Paper -- 洪水深度估计 -- 利用图像处理和深度神经网络绘制街道照片中的洪水深度图
  • 学习C#中的BackgroundWorker 组件
  • 【Vue3新工具】Pinia.js:提升开发效率,更轻量、更高效的状态管理方案!
  • PCB 间接雷击模拟
  • JAVA泛型和顺序表ArrayList
  • Qt桌面应用开发 第六天(鼠标事件 定时器事件 定时器类 事件分发器 事件过滤器)
  • Javascript高级—深入JS模板字符串的高级用法
  • 14. 【.NET 8 实战--孢子记账--从单体到微服务】--简易权限--章节总结
  • vulhub之fastjson
  • 2024年亚太地区数学建模大赛D题-探索量子加速人工智能的前沿领域
  • 卷积神经网络各层介绍
  • Python应用指南:高德拥堵延时指数
  • ISO 21434标准:汽车网络安全管理的利与弊
  • 无插件H5播放器EasyPlayer.js视频流媒体播放器如何开启electron硬解码Hevc(H265)
  • excel版数独游戏(已完成)
  • 接口上传视频和oss直传视频到阿里云组件
  • Arcgis 地图制作
  • 【每日一题1121】python校招笔试题、面试题
  • Spring Boot + Vue 基于 RSA 的用户身份认证加密机制实现