当前位置: 首页 > news >正文

39、Flink 的窗口剔除器(Evictors)详解

Evictors

Flink 的窗口模型允许在 WindowAssignerTrigger 之外指定可选的 Evictor,通过 evictor(...) 方法传入 Evictor

Evictor 可以在 trigger 触发后、调用窗口函数之前或之后从窗口中删除元素, Evictor 接口提供了两个方法实现此功能:

/*** Optionally evicts elements. Called before windowing function.** @param elements The elements currently in the pane.* @param size The current number of elements in the pane.* @param window The {@link Window}* @param evictorContext The context for the Evictor*/
void evictBefore(Iterable<TimestampedValue<T>> elements, int size, W window, EvictorContext evictorContext);/*** Optionally evicts elements. Called after windowing function.** @param elements The elements currently in the pane.* @param size The current number of elements in the pane.* @param window The {@link Window}* @param evictorContext The context for the Evictor*/
void evictAfter(Iterable<TimestampedValue<T>> elements, int size, W window, EvictorContext evictorContext);

evictBefore() 包含在调用窗口函数前的逻辑,而 evictAfter() 包含在窗口函数调用之后的逻辑,在调用窗口函数之前被移除的元素不会被窗口函数计算。

Flink 内置有三个 evictor

  • CountEvictor: 仅记录用户指定数量的元素,一旦窗口中的元素超过这个数量,多余的元素会从窗口缓存的开头移除。
  • DeltaEvictor: 接收 DeltaFunctionthreshold 参数,计算最后一个元素与窗口缓存中所有元素的差值,并移除差值大于或等于 threshold 的元素。
  • TimeEvictor: 接收 interval 参数,以毫秒表示,它会找到窗口中元素的最大 timestamp max_ts 并移除比 max_ts - interval 小的所有元素。

默认情况下,所有内置的 evictor 逻辑都在调用窗口函数前执行。

指定一个 evictor 可以避免预聚合,因为窗口中的所有元素在计算前都必须经过 evictor。

Note: Evictor 在 Python DataStream API 中还不支持.

Flink 不对窗口中元素的顺序做任何保证,即使 evictor 从窗口缓存的开头移除一个元素,这个元素也不一定是最先或者最后到达窗口的。

http://www.lryc.cn/news/353238.html

相关文章:

  • Flutter 中的 DefaultTabController 小部件:全面指南
  • C++技能进阶指南——多态语法剖析
  • Linux内存管理--系列文章肆
  • kali下载zsteg和stegpy
  • 前端面试题日常练-day34 【面试题】
  • 网站笔记:huggingface model memory calculator
  • SpringBoot2.0.x旧版集成Swagger UI报错Unable to infer base url...解决办法
  • 软件项目详细设计说明书实际项目参考(word原件下载及全套软件资料包)
  • 电脑文件qt5core.dll如何修复?如何快速的解决qt5core.dll丢失问题
  • USART串口通信(stm32)
  • 快速分析变量间关系(Boruta+SHAP+RCS)的 APP(streamlit)
  • 解决docker中container运行闪退终止的问题
  • Redis 性能管理
  • 节水“云”科普丨北京昌平VR节水云展馆精彩上线
  • linux的系统调用open, read函数(文件编程)使用demo
  • C语言基础——循环(2)+关机程序
  • cnVcXsrv 21.1.13.1—VcXsrv 21.1.13中文版本简单说明~~
  • 心链2---前端开发(整合路由,搜索页面,用户信息页开发)
  • wordpress主题模板兔Modown 9.1开心版附送erphpdown v17.1插件
  • openai api的初次尝试
  • Distributed Transactions Mit 6.824
  • Redis可视化工具:Another Redis Desktop Manager下载安装使用
  • Parquet文件格式详解(含行、列式存储区别)
  • 一文了解https为什么是安全的
  • [‘column‘]和[:,‘column‘]的区别
  • icloud如何高效利用
  • k8s二进制安装与部署
  • 驱动编译报error: negative width in bit-field ‘<anonymous>’错误
  • Go语言的命名规范是怎样的?
  • Vue3骨架屏(Skeleton)