当前位置: 首页 > news >正文

Flink高可用配置(HA)

从Flink架构中我们可以看到,JobManager这个组件非常重要,是中心协调器,负责任务调度和资源管理。默认情况下,每个Flink集群只有一个JobManager实例。这会产生单点故障(SPOF):如果JobManager崩溃,则无法提交新程序,正在运行的程序也会失败。通过JobManager的高可用性,用户可以从JobManager故障中恢复,从而消除SPOF。

JobManager高可用性的一般思想是,任何时候都有一个leader JobManager和多个standby JobManage,当leader出现故障时,其中一个standby JobManager接管leader。这保证了没有单点故障,并且只要standby JobManager接管了leader,程序就可以继续进行。如下图(有3个JobManager):

Flink的高可用性服务封装了使一切正常工作所需的服务:

  • Leader election:从n个候选人中选出一个领导
  • Service discovery:检索当前领导的地址
  • State persistence
http://www.lryc.cn/news/492739.html

相关文章:

  • 如何编写出色的技术文档
  • 学习日记_20241126_聚类方法(谱聚类Spectral Clustering)
  • 图书系统小案例
  • 目标检测之学习路线(本科版)
  • C#调用C++ DLL方法之C++/CLI(托管C++)
  • 免费搭建一个属于自己的个性化博客(Hexo+Fluid+Github)
  • vue3 开发利器——unplugin-auto-import
  • 开发需求总结19-vue 根据后端返回一年的数据,过滤出符合条件数据
  • 人工智能如何改变创新和创造力?
  • Github 基本使用学习笔记
  • 群论入门笔记
  • 2024最新python使用yt-dlp
  • Python + 深度学习从 0 到 1(00 / 99)
  • 单点登录深入详解之设计方案总结
  • Loadsh源码分析-forEach,eachRight,map,flatMap,flatMapDeep,flatMapDepth
  • 检测到“runtimelibrary”的不匹配项: 值“mtd_staticdebug”不匹配值“mdd_dynamic”
  • go clean -modcache命令清理缓存
  • C#结构体排序(数组)
  • 基于边缘智能网关的机房安全监测应用
  • 【Jenkins】自动化部署 maven 项目笔记
  • LeetCode 3243. Shortest Distance After Road Addition Queries I
  • ML 系列:第 31 节— 机器学习中的协方差和相关性
  • 【鸿蒙】鸿蒙开发过程中this指向问题
  • d3-contour 生成等高线图
  • Ubuntu20.04离线安装全教程(包括DellR940重置Raid 5、安装Ubuntu、设置root、安装nvidia英伟达显卡驱动及设置防火墙白名单)
  • Spring Boot 3 集成 Spring Security(2)授权
  • 【开篇】.NET开源 ORM 框架 SqlSugar 系列
  • 参加面试被问到的面试题
  • 第29天:安全开发-JS应用DOM树加密编码库断点调试逆向分析元素属性操作
  • react 的路由功能