当前位置: 首页 > news >正文

Flink中三种模式:YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令

在 Apache Flink 中,YARN 提供了多种模式来提交和管理作业,每种模式都有其独特的特点和适用场景。主要有以下三种模式:YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式。

1. YARN Session 模式

在 YARN Session 模式中,一个长时间运行的 Flink 会话(Session Cluster)会在 YARN 上启动。可以向这个会话集群提交多个作业。

优点

  • 可以复用同一个集群来运行多个作业,减少启动和销毁集群的开销。
  • 适合开发和调试阶段。

缺点

  • 如果一个作业出现问题,可能会影响到其他作业。
  • 资源调度较复杂,可能会出现资源竞争问题。

启动 YARN Session 集群

flink-yarn-session.sh \-n <number_of_taskmanagers> \-s <slots_
http://www.lryc.cn/news/411288.html

相关文章:

  • DBMS-1.2 关系运算
  • Python——继承
  • 程序员转型AI大模型好转吗?成功率高吗?
  • 关于 Postman 这些你都知道吗?
  • ReentrantLock
  • python | TypeError: list indices must be integers or slices, not tuple
  • 链码简介及MATLAB提取彩色图像链码
  • 二叉树,二叉查找树,平衡二叉树
  • 《零散知识点 · SpringBoot 整合邮件功能》
  • 编程小白如何成为大神?大学新生的最佳入门攻略
  • 使用 PyInstaller 和 Hook 文件打包 APK 解析工具
  • 【分布式】分库分表知识点大全
  • FreeRTOS中的定时器:xTimerCreate ,xTimerStart ,xTimerStop
  • 【网络安全】文件上传黑白名单及数组绕过技巧
  • 4.2、存储管理-页式存储
  • 60个常见的 Linux 指令
  • DockerRedis基础
  • oracle读写时相关字符集详解
  • OverlayFS 文件系统介绍
  • 【C++】用Lua绑定C/C++对象,实现对脚本调用(依赖LuaBridge实现)
  • Java面试——Tomcat
  • 2024年7月个人工作生活总结
  • 快速方便地下载huggingface的模型库和数据集
  • JAVA小白学习日记Day10
  • 分布式相关理论详解
  • Linux基础知识之Shell命令行及终端中的快捷键
  • 研究生选择学习Android开发的利与弊?
  • 怎么评价程序员40岁了竟然还在撸代码?
  • SQL优化(一)基础概念
  • 【C++高阶】哈希:全面剖析与深度学习