当前位置: 首页 > news >正文

Flink SQL:debezium-json 格式的表一定是数据库的 CDC 数据吗?

debezium-json 格式有一种非常典型的应用场景,就是:上游(Source)是一张使用 Flink CDC 接入的关系数据库中的表,下游(Sink)是一张创建在 Kafka 上的表,这张表的 format 往往会定义为 debezium-json,以便 Flink 能获得全面的 CDC 信息用于流上的实时处理,这种场景我们在 《Flink CDC 与 Kafka 集成:Snapshot 还是 Changelog?Upsert Kafka 还是 Kafka?》 一文的 ”测试组合(1):connector=kafka,format=debezium-json“ 一节给出了完整的参考案例。

但这会容易让人产生一个疑惑:是不是只有上游是 Flink CDC 或 Debezium 采集的数据,下游才能使用 debezium-json 格式呢?也就是说: debezium-json 格式是 CDC 数据的专属格式吗?这个问题其实很重要,它能深刻揭示动态表、changelog 流和数据格式之间的关系。

我们通过试验来验证一下吧!这个试验是这样设计的,完成这样一个写入链路:

MySQL => Flink CDC => 动态表-A (connector=upsert-kafka,format=json) => 动态表-B (connector=kafka,format=debezium-json)

如果说 debezium-json 格式只能应用于 CDC 数

http://www.lryc.cn/news/339621.html

相关文章:

  • 基于STM32的RFID智能门锁系统
  • 测试用例的编写评审
  • 二叉树的前、中、后序遍历【c++】
  • Hadoop HDFS:海量数据的存储解决方案
  • Leetcode二十三题:合并K个升序链表【22/1000 python】
  • 03-echarts如何画立体柱状图
  • 2024蓝桥A组E题
  • Java单例模式
  • 04—常用方法和正则表达式
  • Python异常处理机制详解及示例
  • 解决:Java后端返回给前端的Date格式数据相差8小时的问题
  • linux安装weblogic
  • Unity WebGL Release-Notes
  • Excel 记录单 快速录入数据
  • go 利用channel实现定时任务
  • JWT介绍
  • 如何实现YOLOv8保存目标检测后的视频文件
  • LlamaIndex 组件 - Prompts
  • Github 2024-04-16Python开源项目日报 Top10
  • ElasticSearch nested 字段多关键字搜索,高亮全部匹配关键字的处理
  • python_31-32
  • 关于机器学习/深度学习的一些事-答知乎问(四)
  • [spring] Spring Boot REST API - 项目实现
  • ELK之Filebeat实用配置及批量部署(部署200+可用)
  • 用odin实现的资源复制编辑器
  • linux监控文件操作行为
  • 单链表接口函数的实现(增删查改)
  • 超低功耗Sub-1G收发芯片DP32RF002 M0内核(G)FSK/OOK 无线收发机的32位SoC芯片
  • uniapp_微信小程序_NaN
  • 1043: 利用栈完成后缀表达式的计算