当前位置: 首页 > news >正文

SQL进阶技巧:Hive如何进行更新和删除操作?

目录

0 Hive支持更新和删除操作吗?

1 Hive删除操作如何实现? 

2 Hive更新操作如何实现?

3 小结


0 Hive支持更新和删除操作吗?

Hive在默认情况下不支持更新和删除操作,但可以通过特定方式如使用ORCFileformat和AcidOutputFormat来实现。由于HDFS的一次写入,多次读取设计,Hive的更新操作非常低效。HDFS不采用多次写,多次读模式是为了避免事务处理和复杂性。随着业务需求发展,湖仓一体成为解决需要修改数据场景的新方案。

Hive对使用Update功能的表有特定的语法要求, 语法要求如下: 

  • 要执行Update的表中, 建表时必须带有buckets(分桶)属性
  • 要执行Update的表中, 需要指定格式,其余格式目前赞不支持, 如:parquet格式, 目前只支持ORCFileformat和AcidOutputFormat
  • 要执行Update的表中, 建表时必须指定参数(‘transactional’ = true);

经过实验,你会发现Hive的更新机制速度非常的慢

insert overwrite tmp 
select * from tmp where id != '666';

,在很小的数据集上更新,也要分钟级别,基本上处于不可用的状态,那么为什么Hive设计成不支持增删改查呢,我们一起聊聊根源。 

1 Hive删除操作如何实现? 

正常hive删除操作基本都是覆盖原数据;

insert overwrite tmp 
select * from tmp where id != '666';

2 Hive更新操作如何实现?

更新也是覆盖操作;

insert overwrite tmp 
select id,label,if(id = '1' and label = 'grade','25',value) as value 
from tmp where id != '666';

3 小结

本文给出了Hive中实现更新及删除操作的技巧,并分析了Hive中为什么不直接进行更新和删除操作的原因。

如果您觉得本文还不错,对你有帮助,那么不妨可以关注一下我的数字化建设实践之路专栏,这里的内容会更精彩。

专栏 原价99,现在活动价59.9,按照阶梯式增长,还差5个人上升到69.9,最终恢复到原价

专栏优势:
(1)一次收费持续更新。

(2)实战中总结的SQL技巧,帮助SQLBOY 在SQL语言上有质的飞越,无论你应对业务难题及面试都会游刃有余【全网唯一讲SQL实战技巧,方法独特

(3)实战中数仓建模技巧总结,让你认识不一样的数仓。【数据建模+业务建模,不一样的认知体系】(如果只懂数据建模而不懂业务建模,数仓体系认知是不全面的

(4)数字化建设当中遇到难题解决思路及问题思考。

我的 专栏具体链接如下:

数字化建设通关指南_莫叫石榴姐的博客-CSDN博客

https://blog.csdn.net/godlovedaniel/category_12706766.html

http://www.lryc.cn/news/471126.html

相关文章:

  • nginx安装详解含 自动化编译安装 Debian/Ubuntu/CentOS/RHEL/ROCKY
  • Go编程语言介绍及项目案例
  • 刷爆leetcode Day11 DFS
  • 虚拟机不同网络模式的区别
  • 嵌入式软件 Bug 排查与调试技巧
  • 阿里云环境下用docker搭建redis主从复制
  • STM32 从0开始系统学习 1
  • python-numpy-笔记1
  • 云+AI 时代的 OceanBase
  • 【C++】vector使用详解
  • .NET Core WebApi第5讲:接口传参实现、数据获取流程、204状态码问题
  • 运维面试汇总
  • 学习封装Flutter组件,看这篇就够了
  • 无线麦克风方案芯片DSH32F3024
  • 谷粒商城の秒杀服务
  • 庆祝程序员节:聊一聊编程语言的演变
  • 大模型技术在网络安全领域的应用与发展
  • 基于vite和vue3、 eslint、prettier、stylelint、husky规范
  • git push到远程怎么回退
  • Web保存状态的手段(Application的使用)
  • 高翔【自动驾驶与机器人中的SLAM技术】学习笔记(十二)拓展图优化库g2o(一)框架
  • Flutter Row组件实战案例
  • 【ubuntu20.04】【ROS Noetic】【ROS安装】【Website may be down.】【gpg: 找不到有效的 OpenPGP 数据。】
  • Python开发必备,这些黑科技库你get到了吗
  • sublime text 常用快捷键
  • Kubernetes(K8S) + Harbor + Ingress 部署 SpringBoot + Vue 前后端分离项目
  • 【iOS】知乎日报第一周总结
  • Springboot整合spring-boot-starter-data-elasticsearch
  • 【大模型系列】mPLUG-Owl3(2024.08)
  • 从0到1学习node.js(express模块)