当前位置: 首页 > news >正文

flink使用事件时间时警惕kafka不同分区的事件时间倾斜问题

背景

flink和kafka的消息组合消费模式几乎是实时流处理的标配,然后当在flink中使用事件时间处理时,需要注意kafka不同分区元素之间时间相差太大的问题,这样有可能会导致严重的数据堆积问题

kafka不同分区元素事件时间差异较大导致的问题

在这里插入图片描述

总结

我们在kafka的不同分区之间的事件的时间不能太过于极端,因为这样的话,下游的水印是由消费的分区中最小的那个事件时间元素来决定的,但是flink仍然会消费其它分区的元素,只是由于水印不满足,这些元素再向下游管道流动时会被临时缓冲起来,当这种情况很极端时,有可能把flink的作业搞崩溃

http://www.lryc.cn/news/258951.html

相关文章:

  • 『App自动化测试之Appium基础篇』| Desired Capabilities详解与使用
  • vscode插件webview和插件通信
  • 【STM32单片机】贪吃蛇游戏设计
  • 【Java 基础】32 定时调度
  • C++ 教程 - 02 复合数据类型
  • 【数据处理】NumPy数组的合并操作,如何将numpy数组进行合并?
  • JavaScript实现飘窗功能
  • Docker笔记:容器转换成镜像,导出导入镜像,数据拷贝,查看日志
  • 串行计时芯片D1380/D1381,2.0V~5.5V 工作电流: 2V时 与TTL 兼容,采用DIP8、SOP8封装
  • 中间件系列 - Redis入门到实战(基础篇)
  • 项目经理和产品经理该如何选择?
  • java WebSocket带参数处理使用
  • OkHttp: 拦截器和事件监听器
  • 总结一些vue3小知识2
  • 【Excel设置动态图表】
  • 用 C 写一个卷积神经网络
  • 直面双碳目标,优维科技携手奥意建筑打造绿色低碳建筑数智云平台
  • docker 基础入门
  • HarmonyOS:NativeWindow 开发指导
  • 汉威科技传感器为农业加点“智慧”
  • springboot listener、filter登录实战
  • 【数据结构—栈的实现(数组栈)】
  • Linux安装Halo(个人网站)
  • Java - Spring中Bean的循环依赖问题
  • 使用 Python 实现简单的爬虫框架
  • Activiti七大接口,28张表详解
  • 解决msvcr120.dll文件丢失问题
  • AI日报:人工智能与新材料的发现
  • 鱼fish数据集VOC+yolo-1400张(labelImg标注)
  • 爬虫解析-BeautifulSoup-bs4(七)