当前位置: 首页 > news >正文

【Flink名称解释一】什么是cataLog

Catalog 提供了元数据信息,例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。

数据处理最关键的方面之一是管理元数据。 元数据可以是临时的,例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的,例如 Hive Metastore 中的元数据。Catalog 提供了一个统一的API,用于管理元数据,并使其可以从 Table API 和 SQL 查询语句中来访问。

CataLog类型:

  • GenericInMemoryCatalogGenericInMemoryCatalog 是基于内存实现的 Catalog,所有元数据只在 session 的生命周期内可用。

  • JdbcCatalog 使得用户可以将 Flink 通过 JDBC 协议连接到关系数据库。PostgresCatalog 是当前实现的唯一一种 JDBC Catalog。 参考 JdbcCatalog 文档 获取关于配置 JDBC catalog 的详细信息。

  • HiveCatalog 有两个用途:作为原生 Flink 元数据的持久化存储,以及作为读写现有 Hive 元数据的接口。 Flink 的 Hive 文档 提供了有关设置 HiveCatalog 以及访问现有 Hive 元数据的详细信息。

 注意:Hive Metastore 以小写形式存储所有元数据对象名称。而 GenericInMemoryCatalog 区分大小写。

-----之后补充 如何创建 Flink 表并将其注册到 Catalog 

http://www.lryc.cn/news/261199.html

相关文章:

  • ES如何提高准确率之【term-centric】
  • DDD落地:爱奇艺打赏服务,如何DDD架构?
  • 基于JavaWeb+SSM+Vue居住证申报系统小程序的设计和实现
  • 环境安全之配置管理及配置安全设置指导
  • 【C#】Microsoft C# 视频学习总结
  • 【已解决-实操篇】SaTokenException: 非Web上下文无法获取Request问题解决-实操篇
  • 论文润色机构哪个好 快码论文
  • Idea执行bat使用maven打包springboot项目成docker镜像并push到Harbor
  • NCNN 源码学习【三】:数据处理
  • RabbitMq基本使用
  • windows wsl2 ubuntu上部署 redroid云手机
  • 创维电视机 | 用当贝播放器解决创维电视机不能播放MKV视频的问题
  • 【STM32】DMA直接存储器存取
  • Vue3-09-条件渲染-v-show 的基本使用
  • ArrayList与LinkLIst
  • 位运算(、|、^、~、>>、<<)
  • Centos7部署SVN
  • Vue中this.$nextTick的执行时机
  • Unity中的ShaderToy
  • 2 使用postman进行接口测试
  • 【数据库设计和SQL基础语法】--查询数据--聚合函数
  • Module ‘app‘: platform ‘android-33‘ not found.
  • MySQL按序批量操作大量数据
  • strict-origin-when-cross-origin
  • 【置顶】 本博博文汇总
  • react.js源码二
  • 如何学习英语
  • robot测试自动化
  • Linux---重定向命令
  • 小区生活污水处理需要哪些设备和工艺