当前位置: 首页 > news >正文

Flink-----Standalone会话模式作业提交流程

1.Flink的Slot特点:

    1. 均分隔离内存,不隔离CPU
    1. 可以共享:
    • 同一个job中,不同算子的子任务才可以共享同一个slot,同时在运行的前提是,属于同一个slot共享组,默认都是“default”

2.Slot的数量 与 并行度 的关系

    1. slot 是一种静态的概念,表示最大的并发上线
    • 并行度是个动态的概念,表示 实际运行 占用了 几个
    1. 要求:slot数量 >= job并行度(算子最大并行度),job才能运行
    • 注意:如果是yarn模式,动态申请
      申请的TM数量 = job并行度 / 每个TM的 slot 数,向上取整
      比如session:一开始 0 个TaskManager,0个slot
      提交一个job,并行度10, 每个tm设置3个slot,10/3,向上取整,申请4个tm,使用10个slot,剩余2个slot

Standalone会话模式作业提交流程

1)脚本启动执行,客户端先解析参数比如-t,-p,-c会进行解析等,之后多了一个细节,就涉及到Flink一个

http://www.lryc.cn/news/129927.html

相关文章:

  • 算法与数据结构(七)--堆
  • 软件工程概述-架构师(三)
  • 华为手机Outlook手机APP无法登录邮箱,提示[2002]错误代码
  • “深入探究JVM内部结构与工作原理:解析Java虚拟机“
  • windows下redis服务启动及.bat文件中中redis服务的启动
  • 【学习笔记之vue】 Cannot find module ‘node-sass‘
  • POSTGRESQL 关于安装中自动启动的问题 详解
  • Java寻找数组的中心下标
  • ORACLE中判断表是否存在再删除表避免报错与MySql和SqlServer的不同
  • 解决 Maven 创建 Spring Boot 项目时出现 “Cannot access alimaven“ 错误的方法
  • 设计模式——适配器模式
  • 如何区分闰年与平年
  • 中间件(下)
  • LVS-DR的RS进行ARP抑制的原因和LVS持久连接配置
  • 【HarmonyOS】codelab在hvigor版本2.4.2上无法运行问题
  • MySQL- sql语句基础
  • 【目标检测中对IoU的改进】GIoU,DIoU,CIoU的详细介绍
  • 【环境配置】Windows10终端和VSCode下能够直接打开Anaconda-Prompt
  • 稚晖君人形机器人问世:大模型加持,会自己换胳膊,要上生产线造车
  • 变更通知在开源SpringBoot/SpringCloud微服务中的最佳实践
  • 亚马逊产品排名关键因素解析,通过测评干预需要具备哪些条件
  • leetcode原题:绘制直线(位运算)
  • jenkins 安装和通过gitee 拉取PHP项目
  • 解析TCP/IP协议的分层模型
  • ARM M33架构入门
  • CentOS系统环境搭建(四)——Centos7安装Java
  • Arduino MQTT客户端库PubSubClient快速入门
  • 视频集中存储/云存储/磁盘阵列EasyCVR平台接入RTSP设备出现离线情况的排查
  • 部署Springboot项目注意事项
  • 深度解析:DDoS攻击与先进防御策略