当前位置: 首页 > news >正文

Kafka系列之:记录一次Kafka Topic分区扩容,但是下游flink消费者没有自动消费新的分区的解决方法

Kafka系列之:记录一次Kafka Topic分区扩容,但是下游flink消费者没有自动消费新的分区的解决方法

  • 一、背景
  • 二、解决方法
  • 三、实现自动发现新的分区

一、背景

  • 生产环境Kafka集群压力大,Topic读写压力大,消费的lag比较大,因此通过扩容Topic的分区,增大Topic的读写性能
  • 理论上下游消费者应该能够自动消费到新的分区,例如flume消费到了新的分区,但是实际情况是存在flink消费者没有消费到新的分区

在这里插入图片描述

二、解决方法

出现无法消费topic新的分区这种情况,最简单的解决方法是

  • 重启flink消费者程序

三、实现自动发现新的分区

flink程序增加自动发现分区参数:

  • flink.partition-discovery.interval-millis是一个配置属性,用于设置Flink作业中的分区发现间隔时间(以毫秒为单位)。
  • 在Flink作业中,数据源(例如Kafka或文件系统)的分区可能会发生变化。为了及时感知分区的变化情况,并根据变化进行相应的处理,Flink提供了分区发现机制。
  • f
http://www.lryc.cn/news/104243.html

相关文章:

  • Ansible部署MariaDB galera集群(多主)
  • 立体库-库龄
  • extern/头文件包含,实现一个函数被两个文件共用
  • pgsql 查看某个表建立了那些索引sql
  • 【SCSS】网格布局中的动画
  • Docker基础命令(一)
  • django4.2 day1Django快速入门
  • linux的exec和system函数介绍及选择
  • 150行代码写一个Qt井字棋游戏
  • k8s概念-controller
  • Gis入门,根据起止点和一个控制点计算二阶贝塞尔曲线(共三个控制点组成的线段转曲线)
  • 第1集丨Vue 江湖 —— Hello Vue
  • PCB制版技术
  • 大数据课程E7——Flume的Interceptor
  • P2P网络NAT穿透原理(打洞方案)
  • Gof23设计模式之桥接外观模式
  • 微服务性能分析工具 Pyroscope 初体验
  • 工作记录------单元测试(持续更新)
  • C#再windowForm窗体中绘画扇形并给其填充颜色
  • MBA拓展有感-见好就收,还是挑战到底?MBA拓展有感-见好就收,还是挑战到底?
  • 综合布线系统光缆分类及其特点?
  • 前端构建(打包)工具发展史
  • 【数据可视化】(一)数据可视化概述
  • GoogleLeNet Inception V2 V3
  • 【css】背景图片附着
  • 解决运行flutter doctor --android-licenses时报错
  • 在使用Python爬虫时遇到503 Service Unavailable错误解决办法汇总
  • 小研究 - 主动式微服务细粒度弹性缩放算法研究(一)
  • 【LeetCode】215.数组中的第K个最大元素
  • MySQL学习记录:第七章 存储过程和函数