当前位置: 首页 > news >正文

【Flink】Flink提交流程

我们通常在学习的时候需要掌握大数据组件的原理以便更好的掌握这个大数据组件,Flink实际生产开发过程中最常见的就是提交到yarn上进行调度,模式使用的Per-Job模式,下面我们就给大家讲下Flink提交Per-Job任务到yarn上的流程,流程图如下

 (1)客户端将作业提交给 YARN 的资源管理器,这一步中会同时将 Flink 的 Jar 包和配置
上传到 HDFS,以便后续启动 Flink 相关组件的容器。
(2)YARN 的资源管理器分配 Container 资源,启动 Flink JobManager,并将作业提交给
JobMaster。
(3)JobMaster 向资源管理器请求资源(slots)。
(4)资源管理器向 YARN 的资源管理器请求 container 资源。
(5)YARN 启动新的 TaskManager 容器。
(6)TaskManager 启动之后,向 Flink 的资源管理器注册自己的可用任务槽。
(7)资源管理器通知 TaskManager 为新的作业提供 slots。
(8)TaskManager 连接到对应的 JobMaster,提供 slots。
(9)JobMaster 将需要执行的任务分发给 TaskManager,执行任务。

http://www.lryc.cn/news/137056.html

相关文章:

  • 哪种英特尔实感设备适合您?
  • C++11的四种强制类型转换
  • 分布式事务(4):两阶段提交协议与三阶段提交区别
  • React源码解析18(9)------ 实现多节点渲染【修改beginWork和completeWork】
  • 【GUI】基于开关李雅普诺夫函数的非线性系统稳定(Matlab代码实现)
  • Redis 缓存满了怎么办?
  • Grafana 安装配置教程
  • 【Linux】临界资源和临界区
  • 拓扑排序Topological sorting/DFS C++应用例题P1113 杂务
  • 基于jenkins构建生成CICD环境
  • 在线图片怎么转换成PDF?在线图片转换成PDF步骤介绍
  • Linux共享库基础及实例
  • java八股文面试[java基础]——final 关键字作用
  • Redis 分布式锁存在什么问题 ?如何解决 ?
  • n5173b是德科技keysight N5173B信号发生器
  • React源码解析18(10)------ 实现多节点的Diff算法
  • Linux指令篇!
  • Vue2学习笔记のVue组件化编程
  • 跨境电商儿童沙画办理EN71测试标准
  • chrome浏览器账号密码输入框自动填充时背景色不变
  • 【ARM】Day9 cortex-A7核I2C实验(采集温湿度)
  • 【Leetcode】移动零
  • 数据结构入门 — 顺序表详解
  • SimpleCG绘图函数(9)--绘制各种线条
  • RISCV 6 RISC-V加载存储指令
  • 木叶飞舞之【机器人ROS2】篇章_第二节、turtlebot3安装
  • 【论文阅读】自动驾驶安全的研究现状与挑战
  • 标签打印小工具 选择图片打印,按实际尺寸打印。可旋转图片
  • 什么是深拷贝和浅拷贝?
  • 安装docker服务及docker基本操作