当前位置: 首页 > news >正文

flinkcdc 体验

0 flink版本 踩雷

java代码操作 flink Table/SQL API 和 DataStream API 编写程序后,打成jar包丢到flink集群运行,报错首选需要考虑flink集群版本和 jar包中maven依赖的版本是否一致。
目前网上flink、flinkcdc相关博文绝大部分是基于flink1.13、1.14编写的,而我的flink集群是1.15!
而flink1.15由于只支持scala-2.12,所以maven依赖包名发生了改变

<!-- 1.15之前的版本 artifactId 会有一个用来区分不同scala版本的“_2.12”、“_2.11”后缀 -->
<dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java_2.12</artifactId><version>1.14.5</version>
</dependency><!-- 1.15版本的 artifactId 没有用来区分不同scala版本的“_2.12”后缀,原因也是1.15只支持scala-2.12 -->
<dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java</artifactId><version>1.15.2</version>
</dependency>

需要特别说明的是,在flink-connector-mysql-cdc模块的pom文件中,有一个flink-table-planner的依赖,这个依赖的 artifactId 不用更改,这个依赖在1.15版本中,artifactId 也是带 scala版本后缀的

<dependency><groupId>org.apache.flink</groupId><artifactId>flink-table-planner_2.12</artifactId><version>1.15.2</version></dependency>

我是文章1和文章2才知道踩的这个坑

如果你的flink集群是1.13 ,请参考这篇教程一文弄懂Flink CDC

如果你想开发完后将任务丢到flink集群上运行,请根据你的flink集群版本选择正确的maven依赖!!

http://www.lryc.cn/news/189286.html

相关文章:

  • Kafka知识补充
  • 【MAC】升级 Mac os 后报错
  • LeetCode(力扣)416. 分割等和子集Python
  • Redis之缓存一致性
  • LeetCode-199-二叉树的右视图
  • 二叉树的最近公共祖先
  • C++ 补充 反向迭代器的实现
  • JVM第一讲:JVM相关知识体系详解+面试(P6熟练 P7精通)
  • 深度学习DAY3:FFNNLM前馈神经网络语言模型
  • JavaSE学习值之--String类
  • 【LeetCode高频SQL50题-基础版】打卡第6天:第31~35题
  • 基于单片机的汽车智能仪表的设计
  • 【Docker 内核详解】namespace 资源隔离(一):进行 namespace API 操作的 4 种方式
  • 【技术研究】环境可控型原子力显微镜超高真空度精密控制解决方案
  • 【Vuex+ElementUI】Vuex中取值存值以及异步加载的使用
  • python经典百题之简单加密数据
  • 登陆认证权限控制(1)——从session到token认证的变迁 session的问题分析 + CSRF攻击的认识
  • 单点接地、多点接地、混合接地
  • 【C++初阶(一)】学习前言 命名空间与IO流
  • flask vue跨域问题
  • stm32(二十)IAP升级优化(双缓存,可恢复)
  • HDLbits:Exams/ece241 2013 q4
  • 什么是React的虚拟DOM(Virtual DOM)?它的作用是什么?
  • Response Status Code 301、302
  • import { ref, onMounted, reactive } from ‘vue‘
  • 【TB作品】基于MSP430G2553单片机的超声波测距与报警系统,原理图,PCB
  • npm install报错
  • Flutter自定义model实体类
  • java项目实现不停服更新的4种方案(InsCode AI 创作助手)
  • 7.1 yolov5优化模型时,自动标注xml数据