当前位置: 首页 > news >正文

Debezium的三种部署方式

Debezium如何部署

debezium 有下面三种部署方式,其中最常用的就是 kafka connect。

kafka connect

一般情况下,我们通过 kafka connect 来部署 debezium,kafka connect 是一个框架和运行时:

  • source connectors:像 debezium 这样将记录发送到 kafka 的source connector
  • sink connectors:将记录从 kafka topic传播到其他系统的 sink connector

下图展示了一个基于 debezium 的 CDC pipeline 的架构,这里 debezium 作为一个 kafka connect 的一种 source connector。

在这里插入图片描述

如图所示,debezium mysql 连接器用来捕获对 mysql 数据库的更改,debezium postgreSQL 连接器用来捕获对于 postgres 数据库的更改。

每个 debezium 连接器都会建立一个到源数据库的连接:

  • mysql连接器使用一个客户端库来访问 binlog;
  • postgres 连接器从逻辑复制流中读取数据。

默认情况下,一个数据库表的更改被写入一个 Kafka topic,当然也可以通过topic 重路由将更改写入到指定的 topic,或者将多个数据库表的更改写入到同一个 topic。

而Kafka Connect作为K

http://www.lryc.cn/news/153155.html

相关文章:

  • 通讯协议057——全网独有的OPC HDA知识一之接口(十二)IOPCHDA_DataCallback
  • 后端SpringBoot+前端Vue前后端分离的项目(一)
  • docker 安装 MySQL5.7
  • 分布式session的4种解决方案
  • SQL Server2008下载地址
  • MySQL函数和约束
  • 关于一个git的更新使用流程
  • vue 对后端返回字段值为null的变成空字符串
  • C++,菱形继承和虚继承
  • js实现一行半文本的截取
  • 计算一个区间时间差值,时间保留剩下的差值
  • uniapp 微信小程序添加隐私保护指引
  • 行业追踪,2023-08-30
  • Redis——》Redis的部署方式对分布式锁的影响
  • VTK——使用包围盒切割医学图像
  • 在工具提示中使用自绘修改字体
  • 【Git管理工具】使用Docker部署GitLab服务器
  • 安装kali虚拟机镜像的坑
  • 【Android】TextView适配文本大小并保证中英文内容均在指定的UI 组件内部
  • 【力扣每日一题】2023.8.31 一个图中连通三元组的最小度数
  • C语言--volatile
  • 技术深入解析与教程:网络安全技术探秘
  • Android studio 实现生成二维码和扫描二维码
  • Linux中7种文件类型
  • 基础算法--快速排序
  • 机器学习的第一节基本概念的相关学习
  • Python 之__name__的用法以及解释
  • 【FPGA零基础学习之旅#12】三线制数码管驱动(74HC595)串行移位寄存器驱动
  • networkX-03-连通度、全局网络效率、局部网络效率、聚类系数计算
  • 【深入解读Redis系列】Redis系列(五):切片集群详解