当前位置: 首页 > news >正文

Flink JobManager的高可用配置

背景

在flink执行中,jobManager是一个负责执行流式应用执行和检查点生成的组件,一旦发生故障,那么其负责的所有应用都会被取消,所以我们需要对JobManager配置高可用的模式

JobManager高可用配置

配置JobManager的高可用需要使用到zookeeper,一方面zookeeper可以进行领导的选举工作,这样备用jobmanager就可以在主jobmanager故障时进行接管,另一方面,zookeeper可以用于持久存储少量的元数据,以下就是jobmanager的高可用配置图
在这里插入图片描述
当备用的JobManager接手主Jobmanager的工作时,他会执行以下步骤:
1.从zookeeper中获取jar包,jobgraph图,检查点所在的Hdfs远程存储的路径句柄
2.使用最近检查点重新启动应用,在这个过程中,flink会保证状态的一致性,从这里也可以看出,如果应用没有开启检查点时,flink此时只是重启应用,不保证状态的

http://www.lryc.cn/news/166166.html

相关文章:

  • 为什么Token手动添加到请求的Header中,通常使用“Authorization“字段?
  • 国际生态数据获取网络
  • 爬虫逆向实战(34)-某视综数据(MD5、AES)
  • 数据分析三剑客之Matplotlib
  • Python Opencv实践 - LBP特征提取
  • Docker 搭建Redis Cluster 集群
  • 解决谷歌浏览器会http网站自动变成https的问题
  • go小知识2
  • zabbix监控H3C设备
  • 国产化改造之Mysql迁移方案:Mysql Galera Cluster
  • bootstrap表单类型
  • 第一章 SQL Server 数据库部署
  • 赛事个人团体报名分组成绩查询证书h5小程序开源版开发
  • 【大数据环境配置】01-安装VMware虚拟机
  • 什么是C语言中的命名空间?
  • Java语言特点 8种基本数据类型 标识符等练习题 插入/希尔/选择/堆/冒泡/快速/归并/计数排序
  • 建站系列(七)--- 常用前后端框架
  • Jmx协议远程连接java服务器
  • consul 概念 键值对操作命令
  • R拒绝访问的解决方案
  • SeaArt.ai: 海艺AI绘画艺术图片模型创作平台
  • 服务器数据恢复-Xen server虚拟机数据恢复案例
  • 电工-PN结的工作原理
  • C#教学辅助系统网站as.net+sqlserver
  • Selenium - Tracy 小笔记2
  • SVN 和 GIT 命令对比
  • LeetCode 之 移除元素
  • Leecode1160: 拼写单词
  • 电脑死机的时候,CPU到底在做什么?
  • jdk 中的 keytool 的使用,以及提取 jks 文件中的公钥和私钥