当前位置: 首页 > news >正文

Hive MetaStore的实现和优化

在大数据领域,数据管理与存储至关重要,Hive MetaStore(HMS)作为 Hive 数据仓库的核心组件,承担着元数据管理的关键职责。随着数据规模不断膨胀,其性能与稳定性面临挑战。本文将深入剖析 HMS 的实现机制,结合 Hive Client、MetaCat 等相关内容展开探讨,分析各项操作流程,同时针对 HMS 及 MetaCat 提出优化方案,并阐述与 Spark 的关联等内容,助力读者全面掌握 HMS 技术要点。

HMS

相关类图如下:

图片

上图颜色分类

  • 绿色部分是 hive 的

  • 橙色部分是 thrift 框架自动生成的代码

  • 白色部分是 JDK 的

右边是 hive meta-store client,兼容了这个客户端协议的框架,如 spark,会通过 hive meta-store 协议连接过来 
左边是服务端的实现,主要继承自ThriftHiveMetastore.Iface,这个类包含了很多操作,CURD库、表,函数的等等

HMSHandler实现了这个接口,然后调用RawStre去一个具体数据源来获取信息,或者创建信息 
RowStore的实现类ObjectStore则调用了javax.jdo去连接一个真实的数据库,完成此操作

jdo 是 ORM 的实现,比 JDBC 更高层一些,这里会有一些表的连接操作,然后会转为更底层的 SQL 
hive 使用的 ORM 框架为 DataNucleus
几个包

  • org.apache.thrift.protocol 这个是底层 thrift RPC 相关类,会做序列化操作

  • org.apache.hadoop.hive.metastore.api,这是Iface里面库、表会引用到这些RPC类,这些类的一些数据结构定义又引用了更下沉的thrift类

  • org.apache.hadoop.hive.metastore.model,将数据中的数据读取封装成对象,再将这个对象转为thrift RPC中的对象

另外 HMS 也有直接使用SQL 链接数据库
ObjectStore引用了MetaStoreDirectSql,这个类中就包含了很多 sql 语句,不通过 ORM 框架,直接访问
可能是 hive 层做的一些优化

图片

Hive Client

自定义hiveserver设计
相关类图

图片

上图颜色分类

  • 蓝色部分是 自动生成的代码

  • 深灰色是 client实现

  • 浅灰色是 服务端逻辑

  • 绿色部分是 service 层逻辑

服务端和客户端 都实现了 Iface 逻辑,也就是 thrift RPC 协议
服务端有不同的传输实现类,binary 和 http
业务逻辑调用绿色部分,再委托给 SessionManager获取一个session
然后执行具体的 sql 任务

MetaCat-相关操作

架构如如下:

大致分类

  • metacat-controller,CURD 元数据的操作

  • partition-controller,分区操作,mysql 不支持这样的操作

  • tag-controller,可以给表打标签

  • 其他,如创建 meta-cat试图等,mysql不支持

查询 catalog

图片

结果

图片

查询 数据库

图片

结果

图片

查询表

图片

结果

图片

mysql 插件的配置信息:

图片

给 tomcat 增加几个 -D 参数

  • -Dmetacat.usermetadata.config.location=/usermetadata.properties的具体路径

  • -Dmetacat.plugin.config.location=catalog的具体路径

 HMS 优化

相关类如下:

图片

颜色分类

  • 灰色部分,HMS相关,其中深灰色是自动生成的代码

  • 红色部分,web controller 相关的代码

  • 绿色部分,service 相关逻辑

  • 蓝色部分,操作 HMS 相关的类

  • 黄色部分,外部依赖

Iface 是最核心类,metacat 继承了这个类,相当于是实现了 HMS 的server端RPC协议
其中一般操作是直接调用了 controller 的类,所以 RPC 和 http 的逻辑实际是统一的
有一些特殊的 controller,如 Tag、metadata、Search,这些会调用外部类
如搜索会直接调用 ES,tag 和 metadata 会调用 MySQL,所以需要一个外部的 ES,MySQL 来支持这些功能

蓝色部分是操作 HMS 相关的类,分为表、库、partition 三个类
这里有两种情况

  • 浅色部分的实现类,直接调用了 Hive metastore client 来实现的

  • 深蓝色部分,绕过了Hice Client,直接链接了底层的数据库,通过SQL 来交互的

所以 metacat 对HMS 的优化,可以理解为

  • 将ORM操作,转为了直接的 JDBC操作

  • 将ORM生成的多表关联,改为了很多单表查询,再加载到内存中做管理,减轻了 数据库端的计算压力

  • 本质上相当于对 SQL 做优化

Spark和HMS

相关类图如下

图片

灰色的是 spark v1 体系的类
黄色部分是 外部catalog 相关类
v1 中包含了两个 catalog

  • InMemoryCatalog

  • HiveExternalCatalog

HiveExternalCatalog 调用了 IMetaStoreClient 实现类
也就是通过 hive MS client 向服务端发起了 RPC 请求实现 catalog 查找的

这里使用了多版本机制

图片

MetaCat 一些优化-对HMS做的优化SQL

这里不通过 HMS,而是通过 JDBC,直接连底层的数据源
DirectSqlDatabase 的主要 SQL 如下:

图片

DirectSqlGetPartition 的主要 SQL 如下:

图片

DirectSqlSavePartition 的主要 SQL 如下:

图片

DirectSqlTable 的主要 SQL 如下:

图片

ThriftHiveMetastore 相关函数

ThriftHiveMetastore.Iface 的所有函数

图片

图片

图片

org.apache.hadoop.hive.metastore.api 包下的所有类

图片

图片

图片

图片

图片

org.apache.hadoop.hive.metastore.api 包下的类

图片

参考

  • Metacat: Making Big Data Discoverable and Meaningful at Netflix

  • Netflix Metacat: Origin, Architecture, Features & More

  • Data Catalog and crawlers in AWS Glue

相关文章

  • Hive论文

往期推荐

  • Data Ingestion: Architectural Patterns

  • Data engineering at Meta

  • The Life of a Read/Write Query for Apache Iceberg Tables

  • Compaction in Apache Iceberg

  • Spark原理-解析过程和Catalog

  • Janino简单使用

  • Oracle的CDC工具OpenLogReplicator编译

  • OpenLogReplicator的一些改动

  • Spark-Streaming 原理

  • Parquet for Spark

http://www.lryc.cn/news/583110.html

相关文章:

  • AI+智慧园区 | 事件处置自动化——大模型重构园区治理逻辑
  • 向量空间 线性代数
  • 两张图片对比clip功能
  • 在 PyCharm 中安装并配置 Node.js 的指南
  • 整合Spring、Spring MVC与MyBatis:构建高效Java Web应用
  • Linux的 `test`命令(或等价中括号写法 `[空格expression空格]`)的用法详解. 笔记250709
  • 自制明信片DIY:让心意更有温度
  • python Gui界面小白入门学习
  • OpenCV图像增强秘籍:高通滤波与特效艺术
  • 学习open62541 --- [79] 在docker中运行open62541工程
  • SpringCloud系列 - xxl-job 分布式任务调度 (七)
  • Docker高级管理
  • Wireshark抓包实验之TCP连接
  • 使用 Docker Compose 简化 INFINI Console 与 Easysearch 环境搭建
  • 数据管理新范式:基于Docker的私有云存储系统构建指南
  • 7.9 note| dfs
  • 【Linux】Rocky Linux 安装 Docker 与 Docker-Compose
  • 【vLLM 学习】Eagle
  • 多代理混战?用 PAC(Proxy Auto-Config) 优雅切换代理场景
  • 选哪个数据恢复软件?六款深度数据恢复软件介绍
  • 数据基础练习
  • 【Linux】权限的概念及理解
  • 进程于线程-3
  • 代码审计-springel表达式注入
  • JSP动态网页开发基础
  • 前后端集合如何传递
  • 主流大模型Agent框架 AutoGPT详解
  • thinkphp使用redis抢单实例
  • 如何将华为手机中的照片传输到电脑
  • 超越公有云:在裸金属服务器上构建低成本、高性能的静态资源服务