当前位置: 首页 > news >正文

Flink执行模式(批和流)如何选择

DataStream API支持不同的运行时执行模式(batch/streaming),你可以根据自己的需求选择对应模式。

DataStream API的默认执行模式就是streaming,用于需要连续增量处理并且预计会一直保持在线的无界(数据源输入是无限的)作业。

而batch执行模式则用于有界(输入有限)作业,即已知的输入是固定的,并且不会连续运行。

Flink统一了对batch和streaming不同执行模式的处理方式,即共用同一套api,不管你配置了什么执行模式。这也意味着在有限的输入上,batch和streaming的处理最终结果应该是相同的。这里强调最终结果,是因为在streaming模式下执行的作业可能会产生增量更新(比如数据库中的upserts),而批处理作业最终只会产生一个最终结果,但最终结果是相同的,不过两者的实现方式可能不同。

在batch模式下,因为输入是有限的,可能就会有一些额外的优化,比如可以使用不同的join/aggregation策略,以及不同的shuffle实现,以实现更高效的任务调度和故障恢复行为。

1. batch和streaming之间的选择

最简单的判定规则:有界作业使用batch,无界作业使用str

http://www.lryc.cn/news/506883.html

相关文章:

  • LeetCode:101. 对称二叉树
  • LDO输入电压不满足最小压差时输出会怎样?
  • 源码分析之Openlayers中ZoomSlider滑块缩放控件
  • 在Win11系统上安装Android Studio
  • 华为ensp--BGP路径选择-AS_Path
  • Android Java Ubuntu系统如何编译出 libopencv_java4.so
  • WPF Binding 绑定
  • 算法笔记—前缀和(动态规划)
  • 将HTML转换为PDF:使用Spire.Doc的详细指南(二)无水印版
  • V900新功能-电脑不在旁边,通过手机给PLC远程调试网关配置WIFI联网
  • prober.php探针
  • esp8266_TFTST7735语音识别UI界面虚拟小助手
  • 【CSS in Depth 2 精译_086】14.3:CSS 剪切路径(clip-path)的用法
  • 【服务器】MyBatis是如何在java中使用并进行分页的?
  • vue 文本域 展示的内容格式要和填写时保持一致
  • linux-----进程及基本操作
  • [Python学习日记-73] 面向对象实战1——答题系统
  • Win10将WindowsTerminal设置默认终端并添加到右键(无法使用微软商店)
  • AOI外观缺陷检测机
  • 精读 84页华为BLM战略规划方法论
  • 工业摄像机基于电荷耦合器件的相机
  • 13.罗意文面试
  • xxljob window免安装
  • MariaDB 设置 sql_mode=Oracle 和 Oracle 对比验证
  • 【AI驱动的数据结构:包装类的艺术与科学】
  • 初学stm32 --- PWM输出
  • ES6学习Iterator遍历器(七)
  • 重建大师软件做任务提示引擎错误?
  • 【图像分类实用脚本】数据可视化以及高数量类别截断
  • python的is和==运算符