当前位置: 首页 > news >正文

【Flink】Flink架构及组件

我们学习大数据知识的时候,需要知道大数据组件如何安装以及架构组件,这将帮助我们更好的了解大数据组件

对于大数据Flink,架构图图下:

 整个架构图有三种关键组件

1、Client:负责作业的提交。调用程序的 main 方法,将代码转换成“数据流图“(DataflowGraph),并最终生成作业图(JobGraph),一并发送给 JobManager。同时客户端也可以随时连接到 JobManager,获取当前作业的状态和执行结果,也可以发送请求取消作业

2、JobManager :是一个 Flink 集群中任务管理和调度的核心,是控制应用执行的主进程。也就
是说,每个应用都应该被唯一的 JobManager 所控制执行

3、TaskManager:是 Flink 中的工作进程,数据流的具体计算就是它来做的,所以也被称为
“Worker”。Flink 集群中必须至少有一个 TaskManager;当然由于分布式计算的考虑,通常会
有多个 TaskManager 运行,每一个 TaskManager 都包含了一定数量的任务槽(task slots)。Slot
是资源调度的最小单位,slot 的数量限制了 TaskManager 能够并行处理的任务数量。

http://www.lryc.cn/news/141386.html

相关文章:

  • React Navigation 开发准备
  • 前端面试:【前端安全】安全性问题与防范措施
  • [Linux]进程
  • 01-jupyter notebook的使用方法
  • pytestx容器化执行引擎
  • (动态规划) 剑指 Offer 42. 连续子数组的最大和 ——【Leetcode每日一题】
  • OLED透明屏曲面技术:创新突破引领显示行业未来
  • 视频云存储/安防监控EasyCVR视频汇聚平台分发rtsp流时,出现“用户已过期”提示该如何解决?
  • 调用paddleocr接口实现文本检测与识别,并在图像中显示识别结果
  • 如何提升winform程序性能
  • 按钮权限控制
  • 【脚本式设置环境变量】
  • 软件开发bug问题跟踪与管理
  • springboot+mp完成简单案例
  • cuml机器学习GPU库 sklearn升级版AutoDL使用
  • C语言练习题Day1
  • 使用kubeadm安装和设置Kubernetes(k8s)
  • Docker安装延迟队列插件
  • 推荐前 6 名 JavaScript 和 HTML5 游戏引擎
  • 【Django】 Task5 DefaultRouter路由组件和自定义函数
  • Git拉取分支、基于主分支创建新的开发分支、合并开发分支到主分支、回退上一次的merge操作
  • SpringBoot实现定时任务操作及cron在线生成器
  • 数据结构(Java实现)-栈和队列
  • 毕业季如何做好IT技术面试
  • springcloud3 GateWay章节-Nacos+gateway(跨域,filter过滤等5
  • Nodejs+Typescript+Eslint+Prettier+Husky项目构建
  • 轻松正确使用代理IP
  • SpringCloud教程 | 第二篇: 服务消费者(rest+ribbon)
  • lintcode 961 · 设计日志存储系统预【系统设计题 中等】
  • windows下Qt、MinGW、libmodbus源码方式的移植与使用