当前位置: 首页 > news >正文

flink的window和windowAll的区别

背景

在flink的窗口函数运用中,window和windowAll方法总是会引起混淆,特别是结合上GlobalWindow的组合时,更是如此,本文就来梳理下他们的区别和常见用法

window和windowAll的区别

window是KeyStream数据流的方法,其并行度是任意的,也就是最大可以和分组key的数量相同

windowAll是DataStream数据流的方法,其并行度只能是1,也就是所有的元素都会被聚合到一个算子任务上,性能极差

GlobalWindows.create()是一个全局的窗口分配器,
它的作用和TimeWindow或CountWindow一样,都是对元素进行窗口分配,不同点在于GlobalWindows把分区内所有的元素分配到同一个窗口,并且不会触发计算,
而TimeWindow或CountWindow会基于时间或者元素个数对元素进行窗口的分配,并且满足条件就会触发计算

以下是示意图:

在这里插入图片描述

GlobalWindows+KeyedStream常见用法如下:

WindowedStream<Integer, Integer, GlobalWindow> keyedWindowedStream = keyedStream.window(GlobalWindows.create()).trigger(PurgingTrigger.of(CountTrigger.of(10)));

GlobalWindows+DataStream常见用法如下:

AllWindowedStream<Integer, GlobalWindow> allWindowedStream = dataStream.windowAll(GlobalWindows.create()).trigger(PurgingTrigger.of(CountTrigger.of(10)));

http://www.lryc.cn/news/237523.html

相关文章:

  • 【机器学习】特征工程:特征选择、数据降维、PCA
  • 短视频账号矩阵系统saas管理私信回复管理系统
  • 利用ETLCloud自动化流程实现业务系统数据快速同步至数仓
  • 学习c#的第十六天
  • 【论文阅读笔记】Deep learning for time series classification: a review
  • 如何将vscode和Linux远程链接:
  • 快速傅立叶卷积(FFC)
  • 藏头诗(C语言)
  • 适合您的智能手机的 7 款优秀手机数据恢复软件分享
  • uniapp APP下载流文件execl 并用WPS打开
  • 【Python】 Python 操作PDF文档
  • vue3-响应式核心
  • 人工智能的广泛应用与影响
  • SAP创建权限对象、角色、并分配角色
  • [uni-app]记录APP端跳转页面自动滚动到底部的bug
  • 应用软件安全编程--23避免使用不安全的操作模式
  • 国产高云FPGA:纯verilog实现视频图像缩放,提供6套Gowin工程源码和技术支持
  • python操作windows窗口,python库pygetwindow使用详解
  • 手写消息队列(基于RabbitMQ)
  • kafka本地安装报错
  • 王者荣耀游戏
  • MobaXterm如何连接CentOS7的Linux虚拟机?Redis可视化客户端工具如何连接Linux版Redis?
  • python实现炫酷的屏幕保护程序
  • java学习part06数组
  • Java 的异常体系
  • V100 GPU服务器安装CUDA教程
  • 快速弄懂Python3.11中的新特性
  • 七,vi和vim
  • 湖科大计网:传输层
  • 设计模式(二)-创建者模式(3)-抽象工厂模式