当前位置: 首页 > news >正文

flink kafka消费者如何处理kafka主题的rebalance

背景:

我们日常使用kafka客户端消费kafka主题的消息时,当消费者退出/加入消费者组,kafka主题分区数有变等事件发生时,都会导致rebalance的发生,此时一般情况下,如果我们不自己处理offset,我们不需要理会这个rebalance的,当rebalance完成后,每个消费者会从__consumer_offsets中获取每个消费者此时的消费偏移位置,继续进行消费,此时有可能会重复消费.

flink对于kafka的rebalance的处理

我们之前说的是正常的情况下rebalance后消费者会从__consumer_offsets中获取偏移位置进行消费,那么对于开启了检查点的flink来说有什么不一样呢?
由于flink只有在checkpoint完成后才会提交偏移到broker服务器,如果按照之前的理解,那么当rebalance发生时,消费者从__consumer_offsets中获取比偏移位置的话也就意味着这个值是上一个checkpoint提交的偏移值,如果顺着这个思路往下,kafka的偏移相当于重置到了上一个checkpoint的位置,那么按理来说其他的状态,比如键值分区状态也会重置到上一个检查点的状态,要不然flink就不能保证状态的一致性了,所以真相到底是什么?

源码追踪:

1.首先看一下flink的kafka consumer的代码:
在这里插入图片描述

2.其中reassignPartitions方法代码如下所示:
在这里插入图片描述
3.再来看看assign方法的注释:
在这里插入图片描述
有没有恍然大悟的感觉?flink中使用assign的方式执行这个任务算子消费的kafka分区,是不会触发rebalance操作的.

彩蛋:

那这样的话,比如当kafka新增了满足条件的主题或者正在监听的主题新增了分区,flink是怎么消费到的?

http://www.lryc.cn/news/119189.html

相关文章:

  • 【Spring】基于xml文件和注解方式的自动装配
  • ArcGIS Pro技术应用(暨基础入门、制图、空间分析、影像分析、三维建模、空间统计分析与建模、python融合)
  • 『赠书活动 | 第十七期』《Python网络爬虫:从入门到实战》
  • C++——vector介绍及其简要模拟实现
  • Vue2嵌入HTML页面空白、互相传参、延迟加载等问题解决方案
  • 目标检测中的IOU
  • 微信小程序实现双向滑动快捷选择价格(价格区间)
  • W5500-EVB-PICO 做TCP Server进行回环测试(六)
  • Flowise AI:用于构建LLM流的拖放UI
  • Vue原理解析:Vue到底是什么?
  • Playwright 和 Selenium 的区别是什么?
  • 【面试题】前端面试十五问
  • 09-1_Qt 5.9 C++开发指南_Qchart概述
  • 烘焙光照贴图,模型小部分发黑
  • gitblit windows部署
  • opencv基础53-图像轮廓06-判断像素点与轮廓的关系(轮廓内,轮廓上,轮廓外)cv2.pointPolygonTest()
  • 【LeetCode每日一题】——575.分糖果
  • 添加水印图片的java代码
  • uniapp创建项目入门【详细】
  • pytest功能特性介绍
  • UIE在实体识别和关系抽取上的实践
  • Baklib: 逆袭语雀的在线帮助中心,知识库管理工具
  • web 3d场景构建+three.js+室内围墙,仓库,楼梯,货架模型等,第一人称进入场景案例
  • EditPlus取消自动.bak备份
  • LLM - Transformer LLaMA2 结构分析与 LoRA 详解
  • 前端技术搭建五子棋游戏(内含源码)
  • AST入门与实战(三):if节点转switch节点(瑞数5)
  • 小白到运维工程师自学之路 第七十一集 (kubernetes网络设置)
  • day17 enum abstract interface 枚举 抽象 接口
  • c刷题(二)