当前位置: 首页 > news >正文

Flink 提交作业的方式

首先我进行了flink单机部署,个人建议不管是学习还是开发尽量不使用

然后开始了flink自带集群部署,部署在三台服务器上,资源管理由flink集群自己管理,然后为了解决集群的单点故障问题,使用zookeeper监听事件,实现独立高可用集群,防止集群的单点故障,推荐这种集群可以部署在开发环境中测试使用

最后一种就是flink on yarn: 把资源管理交给yarn实现,计算机资源统一由Haoop YARN管理,推荐部署在生产环境中使用,也算是目前主流的一种部署方式。

然后k8s部署,容器化部署是如今业界流行的一项技术,基于 Docker 镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes(k8s),而 Flink 也在最近的版本中支持了 k8s 部署模式

 

如果传递了–detached参数,一旦提交被接受,客户端将停止 :

参考:

Flink运行方式及对比-腾讯云开发者社区-腾讯云

Flink on Yarn模式部署

http://www.lryc.cn/news/398972.html

相关文章:

  • JVM系列 | 垃圾收集算法
  • 深入理解Spring Boot中的事件驱动架构
  • Moldflow安装包下载:附网盘地址+详细教程步骤
  • 2024辽宁省数学建模B题【钢铁产品质量优化】思路详解
  • C++基础入门(上)
  • 基于深度学习的情感分析
  • mybatis 延迟加载
  • 使用QT5.14.2开发族谱管理软件过程记录
  • 【QT】布局管理器
  • 兼容问题---ios底部的安全距离css设置
  • python JSON Lines (JSONL)的保存和读取;jsonl的数据保存和读取,大模型prompt文件保存常用格式
  • Spring Boot中@Async注解的使用及原理 + 常见问题及解决方案
  • ubuntu基于cmakelist的Qt工程,如何将图片打包进二进制程序
  • Spring的启动流程refresh方法、配置类解析流程@Component、@Configuration、@Import、@Bean
  • 运算放大器(2)
  • 智能优化算法之模拟退火算法SA
  • 同时用到,网页,java程序,数据库的web小应用
  • 星环科技推出语料开发工具TCS,重塑语料管理与应用新纪元
  • 【ARM】MDK安装ARM_compiler5无法打开安装程序
  • PHP文字ocr识别接口示例、人工智能的发展
  • 【2024 全国青少年信息素养大赛复赛指南】算法创意实践挑战赛复赛、智能算法应用挑战赛复赛指南
  • 构建自定义Tensorflow镜像时用到的链接地址整理
  • C++——二叉搜索树的实现
  • 【AppScan】安装教程 AppScan v10 Web应用安全测试工具(附安装包)零基础入门到精通,收藏这一篇就够了
  • Java项目:基于SSM框架实现的中小型企业财务管理系统【ssm+B/S架构+源码+数据库+答辩PPT+开题报告+毕业论文】
  • c++ - 多态
  • 亚马逊云科技EC2简明教程
  • TCP网络传输控制协议
  • PCDN技术如何应对网络带宽限制?(壹)
  • Java数据结构-链表与LinkedList