当前位置: 首页 > news >正文

Debezium系列之:记录一次SQLServer数据库数据不采集,恢复采集造成下游承压的情况,以及相对应的详细解决方案

Debezium系列之:记录一次SQLServer数据库数据不采集,恢复采集造成下游承压的情况,以及相对应的详细解决方案

  • 一、背景
  • 二、查看CDC表情况
  • 三、 排查数据库是否开启代理
  • 四、排查表是否开启CDC
  • 五、下游承压情况
  • 六、解决方案

一、背景

  • Connector状态正常,但几十台SQLServer数据库不采集数据了,因此需要定位排查数据库不采集的原因

思路:

  • 查看CDC表是否有新数据
  • 查看数据库代理是否开启
  • 查看数据库表是否开启CDC

二、查看CDC表情况

  • 发现CDC表没有新数据
  • 进一步去排查数据库代理是否开启

三、 排查数据库是否开启代理

  • 发现SQLServer数据库重启过,重启后代理没有开启
  • 因此,需要开启SQLServer数据库代理
  • 采集的表从采集中断以来有新数据的话,代理开启后,查看CDC表是否同步到新数据
  • 如果CDC表有新数据,再去判断Debezium是否采集到数据,如果CDC表没有新数据,再去判断表的CDC设置情况

建议

  • 把SQLServer数据库代理设置为自动开启,这样下次数据库重启后采集能够立即恢复

四、排查表是否开启CDC

EXEC sys.sp_cdc_help_change_data_capture
GO
  • 代理恢复后,CDC表没有新数据,则去查看CDC表设置情况
  • 可以考虑删除表的CDC设置,冲新设置表的CDC

表设置CDC可以参考下面的技术文章:

http://www.lryc.cn/news/425418.html

相关文章:

  • Linux线程基础学习记录
  • 【Python学习-UI界面】PyQt5 小部件12-QStackedWidget 多页显示
  • Mybatis中好用的元对象反射工具类 - MetaObject
  • javaEE WebServlet、SpringWebMVC、SpringBoot实现跨域访问的4种方式及优先级,nginx配置跨域
  • 深入理解JavaScript性能优化:从基础到高级
  • java+springboot实现定时任务
  • 1.3 数据库的发展历史与演变
  • The field file exceeds its maximum permitted size of 1048576 bytes
  • 【Es】python es操作
  • 吃透前端文件上传与文件相关操作 多文件上传 大文件切片上传 拖拽上传 后续还会更新 断点续传等等
  • 用python制作88键赛博钢琴(能用鼠标键盘进行弹奏)
  • zdpgo_gin_login 框架20240815更新,增加注册路由的功能,一个方法自动拥有注册和登录两个API接口
  • 搭配Intel第13代酷睿处理器
  • uniapp快速回顾,新学websocket连接和BLE连接
  • 激光测距传感器
  • 从数据分析到智能生产:AI在工业中的应用与未来
  • 讲讲android art虚拟机的内存
  • 构建高效社群生态:探索社群系统的力量与未来
  • 数据结构——排序(3):交换排序(续)
  • 2024最新版本Python安装及开发环境配置(vscodepython)
  • 机器学习的定义
  • 2024-08-05升级问题:Android中ScrollView嵌套listview并解决listview显示问题
  • 【热度文章】Java设计模式之中介者模 式
  • 【3.0】vue3语法
  • Navicat Monitor 荣获 2024 年 DBTA “最佳数据库性能解决方案”读者选择奖
  • [论文笔记]ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
  • shuashuashua
  • k8s之HPA
  • fun状态上传,并可手动控制
  • 【Canvas与艺术】四扇叶结