当前位置: 首页 > news >正文

The Yarn application application_xxx_xxx doesn‘t exist in RM

本文主要解决flink在standalone模式下,flink run却一直使用yarn-session模式的问题。

问题

有个客户找到笔者,问题是报错如下:

分析

笔者先从环境入手,首先要确定的是flink是使用了什么模式。确认过后是使用standalone模式。

那就很奇怪,怎么会去使用yarn呢。

解决

说实话,笔者本人也没有遇到类似的问题,但是笔者一般会把不懂的东西转换到懂的东西上,所以先跑一下flink的hello world即wordcount(./bin/flink run ./examples/batch/WordCount.jar -input /etc/hosts -output ./wordcountoutput)。发现报错如下:

可以注意到Info里面提示读到了yarn的配置在/tmp/.yarn-properties-root。查看此文件发现里面包含yarn的appID。

清除此文件以后,重新运行wordcount,成功。在运行客户的sql,也成功了。问题解决。

原因分析

笔者在自己的环境上也复现此问题。复现过程是先使用./bin/yarn-session.sh -n 4 -tm 2048 -s 1 -d启动后,会生成/tmp/.yarn-properties-root。然后使用yarn app -list,yarn app -kill appID。再启动standalone模式。最后使用flink run都会报此错误。所以当yarn app不存在以后,要及时的删除/tmp/.yarn-properties-root。希望读者可以注意这个关键点。

有大数据问题,就找windpig~

http://www.lryc.cn/news/489974.html

相关文章:

  • elasticsearch介绍和部署
  • Flutter之使用mqtt进行连接和信息传输的使用案例
  • 汽车HiL测试:利用TS-GNSS模拟器掌握硬件性能的仿真艺术
  • 【MyBatisPlus·最新教程】包含多个改造案例,常用注解、条件构造器、代码生成、静态工具、类型处理器、分页插件、自动填充字段
  • 前端知识点---rest(javascript)
  • 13. 猜最大公约数最小公倍数小游戏
  • Git 多仓库提交用户信息动态设置
  • 2024.6使用 UMLS 集成的基于 CNN 的文本索引增强医学图像检索
  • 了解Redis(第一篇)
  • UE5 第一人称射击项目学习(二)
  • npm/cnpm的使用
  • go-zero(六) JWT鉴权
  • 做一个FabricJS.cc的中文文档网站——面向markdown编程
  • 开发 + 安全:网络安全的协作方法
  • Next.js- App Router 概览
  • python oa服务器巡检报告脚本的重构和修改(适应数盾OTP)有空再去改
  • 【工控】线扫相机小结 第四篇
  • 亲测解决Unpack operator in subscript requires Python 3.11 or newer
  • 数据结构 ——— 堆排序算法的实现
  • On-Chip-Network之Topology
  • 2024年11月21日Github流行趋势
  • 第三十八章 IOT 通信协议MQTT协议实现的中间件EMQXDocker安装与验证指南
  • Flume日志采集系统的部署,实现flume负载均衡,flume故障恢复
  • CodiMD导出pdf失败或无中文
  • 数字图像处理(2):Verilog基础语法
  • Kafka 工作流程解析:从 Broker 工作原理、节点的服役、退役、副本的生成到数据存储与读写优化
  • 爬虫重定向问题解决
  • Java技术复习提升 10异常
  • 真题-桂城2022年五年级
  • android 使用MediaPlayer实现音乐播放--权限请求