当前位置: 首页 > news >正文

Flink On Yarn模式部署与验证

session运行模式


该模式下分为2步,即使用yarn-session.sh申请资源,然后 flink run提交任务。

1、申请资源yarn-session.sh


#在server1执行命令

/usr/local/flink-1.13.5/bin/yarn-session.sh -tm 1024 -n 2 -s 1 -d

#申请2个CPU、2g内存
# -tm 表示每个TaskManager的内存大小
# -n 表示申请2个容器,就是多少个taskmanager  (新版本该参数省略,根据提交job动态调整)
# -s 表示每个TaskManager的slots数量  (新版本该参数省略,根据提交job动态调整)
# -d 表示以后台程序方式运行

2、验证yarn ui


yarn链接地址:http://server1:8088/cluster

3、使用flink run提交任务


需要在server1上执行
#多执行几次看看运行情况,或者运行其他的应用也可以

/usr/local/flink-1.13.5/bin/flink run  /usr/local/flink-1.13.5/examples/batch/WordCount.jar

/usr/local/flink-1.13.5/bin/flink run  -c xx.xx.xx.Main /usr/local/flink-1.13.5/examples/batch/WordCount.jar

4、验证flink提交的任务


通过上方的ApplicationMaster(Tracking UI)可以进入Flink的管理界面

5、关闭yarn-session

yarn application -kill application_1688448920799_0001

其它: Flink(二)1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式(前两种及session和per-job)验证详细步骤_一瓢一瓢的饮 alanchan的博客-CSDN博客

http://www.lryc.cn/news/103409.html

相关文章:

  • [数据库]对数据库事务进行总结
  • 【Lua学习笔记】Lua进阶——Table(2)
  • 如何进行软件回归测试
  • php://filter绕过死亡exit
  • RS485/RS232自由转ETHERNET/IP网关profinet和ethernet区别
  • Hadoop_HDFS_常见的文件组织格式与压缩格式
  • 算法与数据结构(四)--排序算法
  • 【C/C++】C++11 在各编译器版本支持详情
  • flutter开发实战-图片保存到相册
  • 数据结构---栈
  • 【RabbitMQ】golang客户端教程1——HelloWorld
  • 计算机图形学笔记2-Viewing 观测
  • Redis - 三大缓存问题(穿透、击穿、雪崩)
  • web自动化测试-PageObject 设计模式
  • golang json.Marshal() 结构体、map 携带 符号 转成 “\u0026“
  • 【设计模式|行为型】备忘录模式(Memento Pattern)
  • Redis与其他缓存解决方案(如Memcached)的区别是什么?
  • 《面试1v1》Kafka的ack机制
  • 基于双 STM32+FPGA 的桌面数控车床控制系统设计
  • ES-5-进阶
  • Java面试准备篇:全面了解面试流程与常见问题
  • Go语言进阶语法八万字详解,通俗易懂
  • Apache RocketMQ 远程代码执行漏洞(CVE-2023-37582)
  • Kotlin Multiplatform 使用 CocoaPods 创建多平台分发库
  • 前端食堂技术周刊第 92 期:VueConf 2023、TypeChat、向量数据库、Nuxt 服务器组件指南
  • 用C语言构建一个手写数字识别神经网络
  • vue关闭ESlint
  • 测试开发人员如何进行局部探索性测试?一张图告诉你
  • CentOS 8 上安装 Nginx
  • 【c语言进阶】字符函数和字符串函数知识总结