当前位置: 首页 > news >正文

Flink HA

目录

Flink HA集群规划

环境变量配置

masters配置

 测试


Flink HA集群规划

        FLink HA集群规划如下:

IP地址主机名称Flink角色ZooKeeper角色
192.168.128.111bigdata111masterQuorumPeerMain
192.168.128.112bigdata112worker、masterQuorumPeerMain
192.168.128.113bigdata113workerQuorumPeerMain

 bigdata111和bigdata112作为master节点,也就是实现JobManager的高可用。bigdata112和bigdata113作为worker节点,作为TaskManager节点。Flink HA集群使用ZooKeeper和HDFS实现。所以需要ZooKeeper集群和HDFS集群。假设已经部署好了ZooKeeper集群和HDFS集群。


环境变量配置

        执行如下命令,打开配置文件

 vi /etc/profile

在文件末尾添加如下配置内容:

export HADOOP_CLASSPATH=`hadoop classpath`

执行如下命令,生效配置文件: 

source /etc/profile

三台服务器同时配置。


masters配置

        进去Flink安装目录下的conf目录,如图:

masters配置文件内容改为: 

bigdata111:8081
bigdata112:8081

将该配置同步到其他服务器,保持三台服务器相同配置。

scp -r masters bigdata112:`pwd`
scp -r masters bigdata113:`pwd`

复制成功后,如图: 

        进入Flink安装目录下的conf目录,如图:

打开配置文件,Flink HA的默认配置如下: 

将HA配置修改为如下内容: 


# The high-availability mode. Possible options are 'NONE' or 'zookeeper'.
#
high-availability: zookeeper# The path where metadata for master recovery is persisted. While ZooKeeper stores
# the small ground truth for checkpoint and leader election, this location stores
# the larger objects, like persisted dataflow graphs.
#
# Must be a durable file system that is accessible from all nodes
# (like HDFS, S3, Ceph, nfs, ...)
#
high-availability.storageDir: hdfs:///flink/ha/# The list of ZooKeeper quorum peers that coordinate the high-availability
# setup. This must be a list of the form:
# "host1:clientPort,host2:clientPort,..." (default clientPort: 2181)
#
high-availability.zookeeper.quorum: bigdata111:2181,bigdata112:2181,bigdata113:2181# ACL options are based on https://zookeeper.apache.org/doc/r3.1.2/zookeeperProgrammers.html#sc_BuiltinACLSchemes
# It can be either "creator" (ZOO_CREATE_ALL_ACL) or "open" (ZOO_OPEN_ACL_UNSAFE)
# The default value is "open" and it can be changed to "creator" if ZK security is enabled
#
# high-availability.zookeeper.client.acl: open

将该配置文件同步到其他服务器,命令如下:

scp -r flink-conf.yaml bigdata112:`pwd`
scp -r flink-conf.yaml bigdata113:`pwd`

同步成功后,如图: 

 测试

        先后启动ZooKeeper集群、HDFS集群和flink集群,如图:

使用浏览器分别登录Flink web ui页面:

http://bigdata111:8081/#/overview

http://bigdata112:8081/#/overview

如图: 

页面上无法区分哪个节点是active。HDFS上同时生成了HA的数据目录,如图:

下面从ZooKeeper中查看哪一个节点是active:

        执行zkCli.sh命令连接ZooKeeper集群,最终查找到当前Flink中active JobManager是bigdata111。如图:

 现在在bigdata111上运行flink应用程序,命令如下:

flink run -c com.leboop.SocketStreamingWordCount /root/jars/flink-1.0-SNAPSHOT.jar --host bigdata111 --port 9999

运行成功后如图:

此时在bigdata111和bigdata112上的web ui上均可以看到相同的正在运行的任务,如图: 

现在将bigdata111上的JobManager杀死,如图:

此时bigdata111无法打开web ui页面,如图:

可以打开bigdata112的web ui页面,如图: 

再次执行zkCli.sh命令,连接到ZooKeeper集群,查看节点信息如下: 

active JobManager节点已经切换到bigdata112。 

http://www.lryc.cn/news/402576.html

相关文章:

  • 神经网络中如何优化模型和超参数调优(案例为tensor的预测)
  • 使用AJAX发起一个异步请求,从【api_endpoint】获取数据,并在成功时更新页面上的【target_element】
  • 【AI绘画教程】Stable Diffusion 1.5 vs 2
  • 纯前端小游戏,4096小游戏,有音效,Html5,可学习使用
  • ROS、pix4、gazebo、qgc仿真ubuntu20.04
  • qt 国际化语言,英文和中文切换
  • 机器学习入门【经典的CIFAR10分类】
  • 01 安装
  • AI 模型本地推理 - YYPOLOE - Python - Windows - GPU - 吸烟检测(目标检测)- 有配套资源直接上手实现
  • 全国媒体邀约,主流媒体到场出席采访报道
  • 计算机视觉8 图像增广
  • Transformer中的自注意力是怎么实现的?
  • LabVIEW鼠标悬停在波形图上的曲线来自动显示相应点的坐标
  • 操作系统发展简史(Unix/Linux 篇 + DOS/Windows 篇)+ Mac 与 Microsoft 之风云争霸
  • 钡铼分布式 IO 系统 OPC UA边缘计算耦合器BL205
  • 实现了一个心理测试的小程序,微信小程序学习使用问题总结
  • vue是如何进行监听数据变化的?vue2和vue3分别是什么?vue3为什么要更换?
  • 数据结构day3
  • 免费的数字孪生平台助力产业创新,让新质生产力概念有据可依
  • mtsys2 编译 qemu 记录
  • 【Python数据分析】数据分析三剑客:NumPy、SciPy、Matplotlib中常用操作汇总
  • STM32智能家居电力管理系统教程
  • C# 邮件发送
  • Kotlin 协程简化回调
  • 帝王蝶算法(EBOA)及Python和MATLAB实现
  • 【学术会议征稿】第六届信息与计算机前沿技术国际学术会议(ICFTIC 2024)
  • PHP MySQL 读取数据
  • 点亮 LED-I.MX6U嵌入式Linux C应用编程学习笔记基于正点原子阿尔法开发板
  • 从0到1搭建数据中台(4):neo4j初识及安装使用
  • 【20】读感 - 架构整洁之道(二)