当前位置: 首页 > news >正文

Flink作业执行的第一步:DataFlow graph的构建

本文重点

在前面的课程中,我们学习了算子的概念,我们可以将Flink程序简单的理解为算子的逻辑组合,数据在一系列算子操作中流动,最终完成数据的处理。在运行的时候,客户端会将所有的算子按照逻辑顺序连接起来构成一张图,这张图就叫做“逻辑数据流”(logical dataflow),或者叫“数据流图”(DataFlow graph)。

DataFlow graph 

DataFlow graph的构建是Flink作业执行的第一步,它是在Flink程序被提交到Flink集群之前完成的。

Flink中的DataFlow graph是指Flink程序的执行计划,它描述了Flink作业中的数据流以及数据流之间的转换和操作。DataFlow graph是Flink作业的逻辑表示,通过它可以清晰地了解Flink程序的数据流动和处理逻辑。

在Flink中,DataFlow graph(数据流图)是一个表示Flink程序执行流程的有向无环图(DAG)。它由一组连接的算子(operators)和数据流边(stream edges)组成。DataFlow graph描述了Flink程序中的数据流,其中每个算子代表一个数据转换操作,算子之间的数据流边表示数据在算子之间的传递。

在DataFlow graph中,以一个或多个源(source)开始,并以一个或多个汇(sink)结束。在数据源算子和输出算子之间还可以包含一些特殊的算子,比如转换算子用

http://www.lryc.cn/news/623440.html

相关文章:

  • C11期作业18(07.12)
  • 栈与队列:数据结构中的双生子
  • 【JavaEE】多线程 -- 单例模式
  • [python学习记录2]变量
  • Maven 开发实践
  • PCA的一些实际应用
  • 详解flink java基础(一)
  • 前端项目的打包部署
  • 【MySQL学习|黑马笔记|Day7】触发器和锁(全局锁、表级锁、行级锁、)
  • Docker Compose 安装 Neo4j 的详细步骤
  • Docker之自定义jkd镜像上传阿里云
  • Docker+飞算JavaAI=未来:全流程容器化AI开发实战
  • 堆(Heap):高效的优先级队列实现
  • 适用监测农作物长势和病虫害的高光谱/多光谱相机有哪些?
  • 已开源:Highcharts.NET,Highcharts Android,与Highcharts iOS集成
  • 【Virtual Globe 渲染技术笔记】8 顶点变换精度
  • p5.js 3D 形状 “预制工厂“——buildGeometry ()
  • 积鼎科技CFD VirtualFlow:引领国产多相流仿真技术,赋能工业智造
  • 6.Ansible自动化之-管理变量和事实
  • 使用vscode的task.json来自动执行make命令,而不直接使用终端
  • 智能化管理:开启海洋牧场新时代
  • Excel 表格数据自动填充
  • C++算法竞赛:位运算
  • Android 组件封装实践:从解耦到架构演进
  • 工作中使用到的 TRPS 【Temporal Residual Pattern Similarity】和 K-sigma 算法
  • 知识点汇集-web
  • Spring 源码学习(十一)—— webmvc 配置
  • 项目发布上线清单
  • 如何在Windows系统中更改用户名(中文转英文全流程)
  • LeetCode 837.新 21 点:动态规划+滑动窗口