当前位置: 首页 > news >正文

数仓工具—Hive进阶之StorageHandler(23)

Storage Handler

引入Storage Handler,Hive用户使用SQL的方式读写外部数据源, 例如ElasticSearch、 Kafka、HBase等数据源的查询对非专业开发是有一定门槛的,借助Storage Handler,他们有了一种方便快捷的手段查询数据,Storage Handler作为Hive的存储插件,我们需要的时候直接添加即可。

另外,Hive作为数仓的核心组件,借助Storage Handler,数据导入导出可以统一以SQL实现,减少了大数据开发维护的技术栈。Storage Handler我们可以直接译为存储处理器

Storage Handler的使用

  1. 用Java实现HiveStorageHandler接口,并将Jar包加入Hive classpath。

  2. 创建外部表(External Table),且STORED BY 声明为第一步开发的类。

  3. 使用HiveSQL操作外部表

这里有一个概念性的问题,在hive 引入Storage Handler 之前就已经有内部表(managed)和外部表(external) 的概念了,关于内部表和外部表你可以参考 Hive内部表和外部表 。

A managed table is one for which the definition is primarily managed in Hive’s metastore, and for whose data storage Hiv

http://www.lryc.cn/news/276613.html

相关文章:

  • 科技创新创业
  • 高校电力能耗监测精细化管理系统,提升能源利用效率的利器
  • Java_Swing程序设计
  • ZeroBind:DTI零样本预测器
  • Win10子系统Ubuntu实战(一)
  • [足式机器人]Part3 机构运动学与动力学分析与建模 Ch00-2(3) 质量刚体的在坐标系下运动
  • 云计算历年题整理
  • 2401vim,vim重要修改更新大全
  • 安卓多用户管理之Userinfo
  • JavaScript-流程控制-笔记
  • springboot + vue3实现增删改查分页操作
  • leetcode01-重复的子字符串
  • 目标检测数据集 - 夜间行人检测数据集下载「包含VOC、COCO、YOLO三种格式」
  • 【YOLO系列】 YOLOv4思想详解
  • 查询json数组
  • Docker mysql 主从复制
  • 第7章-第1节-Java中的异常处理
  • 使用python生成一个月度账单消费金额柱状图表
  • 将一个独立的磁盘添加到已有的 `/` 分区
  • AI智能电销器人需要注意哪些问题呢
  • 呼叫中心研究分析:到2027年市场规模预计将达4966亿美元
  • 工业数据采集分析——工厂大脑 提升综合经济效益
  • python系列教程218——生成器表达式
  • jquery 实现简单的标签页效果
  • C++ Web框架Drogon初体验笔记
  • x-cmd pkg | busybox - 嵌入式 Linux 的瑞士军刀
  • Java异常简单介绍
  • ocrmypdf_pdf识别
  • 卷积神经网络|猫狗分类系列--导入kaggle猫狗数据集
  • 【linux 多线程并发】线程本地数据存储的两种方式,每个线程可以有同名全局私有数据,以及两种方式的性能分析