当前位置: 首页 > news >正文

【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据

利用 Paimon Schema Evolution 核心特性同步变更的 mysql 表结构和数据

1、背景信息

在Paimon 诞生以前,若 mysql/pg 等数据源的表结构发生变化时,我们有几种处理方式
(1)人工通知(比如常规的使用邮件),然后运维人员手动同步到数据仓库中
(2)使用 flink 消费 DDL binlog ,然后自动更新 Hive 的外部表和内部表 schema
那么现在,有了 Paimon ,我们可以利用其特性,自动识别并同步 DDL 这些变化,并同步至 hive 的 paimon 格式表中。这种方式的优点:

1、数据链路变短,更可靠
2、降低开发、维护成本
3、降低了数据集成调度资源和计算资源的使用成本

2、软件版本

Mac OS 10.15.6
Apache Hive 3.1.3
Apache Hadoop 3.1.0
Apache Flink 1.19.1
Apache Paimon 0.9.0
Mysql 8.0
flink-sql-connector-mysql-cdc-3.1.1.jar
mysql-connector-java-8.0.27.jar
paimon-flink
http://www.lryc.cn/news/519709.html

相关文章:

  • IOS HTTPS代理抓包工具使用教程
  • 在 Ubuntu 22.04 上从 Wayland 切换到 X11的详细步骤
  • 【Linux】4.Linux常见指令以及权限理解(2)
  • ffmpeg aac s16 encode_audio.c
  • vue3监听器
  • 03-51单片机定时器和串口通信
  • 系统架构设计师考点—项目管理
  • 代码随想录算法训练营第三十二天|509.斐波那契数、70.爬楼梯、746.使用最小花费爬楼梯
  • 【2024年华为OD机试】 (A卷,100分)- 总最快检测效率(Java JS PythonC/C++)
  • 【大数据】Apache Superset:可视化开源架构
  • LabVIEW调用不定长数组 DLL数组
  • MySQL 17 章——触发器
  • 面向对象分析与设计Python版 面向对象设计方法
  • GB/T 19582.1-2008主要内容
  • [石榴翻译] 维吾尔语音识别 + TTS语音合成
  • 算法题(32):三数之和
  • webpack03
  • 组会 | SNN 的 BPTT(backpropagation through time)
  • CDA数据分析师一级经典错题知识点总结(3)
  • django基于Python的电影推荐系统
  • JVM与Java体系结构
  • 网络授时笔记
  • 【CSS】HTML页面定位CSS - position 属性 relative 、absolute、fixed 、sticky
  • spark汇总
  • 【Rust自学】11.5. 在测试中使用Result<T, E>
  • Sping Boot教程之五十四:Spring Boot Kafka 生产者示例
  • 设计模式-结构型-组合模式
  • 基于Java的推箱子游戏设计与实现
  • Spark vs Flink分布式数据处理框架的全面对比与应用场景解析
  • python_excel列表单元格字符合并、填充、复制操作