当前位置: 首页 > news >正文

flinkcdc同步完全量数据就不同步增量数据了

flinkcdc同步完全量数据就不同步增量数据了

使用flinkcdc同步mysql数据,使用的是全量采集模型
startupOptions(StartupOptions.earliest())
全量阶段同步完成之后,发现并不开始同步增量数据,原因有以下两个:

原因1:

1.mysql中对应的数据库没有开启binlog
在/etc/my.cnf配置文件中,在[ mysqld ]添加以下内容

[mysqld]#数据库id
server-id=1
##启动Binlog,该参数的值会作为binlog的文件名前缀
log-bin=mysql-bin
##binlog类型,maxwell要求为row类型
binlog_format=row
##启动binlog的数据库,需根据实际情况修改配置
binlog-do-db=student
binlog-do-db=easypm

然后重启数据库 ,执行命令

sudo systemctl restart mysqld

原因2

和checkpoint有关
1.没有开启ck
2.ck的时间过长
测试阶段,可以把ck的时间设置的非常短

 env.enableCheckpointing(1000L, CheckpointingMode.EXACTLY_ONCE);//头和头的之间env.getCheckpointConfig().setMinPauseBetweenCheckpoints(1000L);//头和尾

3.ck的路径收到损坏,删除对应的ck路径下的内容即可

http://www.lryc.cn/news/146078.html

相关文章:

  • VBA:Application.GetOpenFilename打开指定文件夹里的excel类型文件(xls、xlsx)
  • 利用R作圆环条形图
  • JavaScript(笔记)
  • 软件工程(九) UML顺序-活动-状态-通信图
  • JVM 是怎么设计来保证new对象的线程安全
  • 【JavaEE基础学习打卡00】该专栏知识大纲在这里!
  • C# 跨线程访问窗体控件
  • Ctenos7安装mysql-8.1.0/tomcat-9.0.80/LNMT部署
  • input时间表单默认样式修改(input[type=“date“])
  • 首页搜索框传递参数,并在搜索页面中的搜索框中进行显示,搜索框绑定回车键进行搜索
  • 【Vue3+Ts】项目启动准备和配置项目代码规范和css样式的重置
  • Java【手撕双指针】LeetCode 15. “三数之和“, 图文详解思路分析 + 代码
  • Flutter:自定义组件的上下左右弹出层
  • C++处理终端程序中断或意外退出的情况
  • 分布式锁:业务锁和定时任务锁
  • 路由器的简单概述(详细理解+实例精讲)
  • Mapper.xml文件解析
  • ES 7.6 - JAVA应用基础操作篇
  • com.squareup.okhttp3:okhttp 组件安全漏洞及健康度分析
  • 【Unity的HDRP渲染管线下用Steam VR串流结合使用遇到的各种问题_SteamVR 插件和Pico串流助手】
  • Unity——音乐、音效
  • Ubuntu 23.10 将首次推出基于 Flutter 的新 Ubuntu 商店
  • linux scatterlist阅读三
  • 2023新,centos7安装mysql8.0.25
  • Data Rescue Professional for Mac:专业的数据恢复工具
  • 新手小白想要做好跨境电商独立站,需要考虑哪些要素?
  • Consul原理介绍
  • 【C++实战】C++实现贪吃蛇(含源代码)—基于easyx图形库
  • PHP获取两个日期之间的所有日期
  • STL之stack(适配器讲解以及双端队列的讲解)