当前位置: 首页 > news >正文

大数据flink篇之三-flink运行环境安装后续一yarn-session安装

前提:
Hadoop 必須保证在 2.2 以上,且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。
具体的,在生产环境中,flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。

flink Session-Cluster
在这里插入图片描述

 在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会驻在yarn集群中,除非手工停止。

首先确保在/etc/profile中添加了配置项

export HADOOP_CLASSPATH=`hadoop classpath`

初始化启动

./bin/yarn-session.sh --detached

提交作业

./bin/flink run ./examples/streaming/TopSpeedWindowing.jar

停止作业

echo "stop" | ./bin/yarn-session.sh -id application_XXXXX_XXX

这种模式所有的job都共享一个jobmanager,启动的集群只有一个jobmanager。
后续继续补充另外两种:Per-Job和Application Mode

http://www.lryc.cn/news/194979.html

相关文章:

  • Chrome Extensions v3 迁移清单
  • TCP/IP(十二)TCP的确认、超时、重传机制
  • C/C++陷阱——临时变量的产生和特性
  • 【音视频|ALSA】SS528开发板编译Linux内核ALSA驱动、移植alsa-lib、采集与播放usb耳机声音
  • C/C++基础讲解(一百三十一)之经典篇(信息合并/平均分数存储)
  • 【ROS】使用vscode浏览navigation2源码时,提示:没有那个文件或目录
  • ARM-day9作业
  • ORA-00600: internal error code, arguments
  • C#里氏替换
  • Java-使用sqlSessionTemplate实现批量更新-模拟mybatis 动态sql
  • Eslint配置 Must use import to load ES Module(已解决)
  • 正向代理(流量代理)
  • 易天光通信推出100G BIDI ER光模块最新解决方案
  • Flask框架配置celery-[1]:flask工厂模式集成使用celery,可在异步任务中使用flask应用上下文,即拿即用,无需更多配置
  • 合并二叉树
  • Sanic​——Python函数变成API的神器
  • Windows连接不上VMware,ping不通的问题
  • 24、Flink 的table api与sql之Catalogs(java api操作数据库、表)-2
  • 【MySQL】深入了解索引的底层逻辑结构
  • Android之SpannableString使用
  • 【Python】Python求均值、中值和众数
  • NPM 常用命令(十二)
  • 数据在内存中的存储(2)
  • 软件工程与计算总结(十三)详细设计中的模块化与信息隐藏
  • RF学习——器件的非线性失真分析
  • SUB-1G SOC芯片DP4306F 32 位 ARM Cortex-M0+内核替代CMT2380F32
  • 接收请求地址下载并输出文件流实现
  • 【iOS】——用单例类封装网络请求
  • 再学Blazor——概述
  • Ceph运维笔记