当前位置: 首页 > news >正文

spark grpc 在master运行报错 exitcode13 User did not initialize spark context

程序使用sparksql 以及protobuf grpc ,执行报错

ApplicationMaster: Final app status: FAILED, exitCode: 13, (reason: Uncaught exception: java.lang.IllegalStateException: User did not initialize spark context!

先说原因 :

  • 1.使用了不具备权限的用户,spark运行环境有缺失
  • 2.protobuf 需要使用指定操作系统进行编译 未使用 os.detected.classifier=windows-x86_64 或 linux-x86_64,或者把windows上编译的jar直接拿过来使用导致
  • 3.protobuf的版本不太合适 这个比较坑,得多注意
  • 4.代码中指定了运行模式是local( 这个因为没写local,没遇到 )
  • 解决

  • 1.使用root用户,或者将当前用户加入到sudo 权限范围,之后sudo执行
  • 2.本机 编译的放到linux执行会报错,因此需要在master节点编译 指定os.detected.classifier=linux-x86_64 例如 maven执行的命令
  • mvn clean package -P prod -Dos.detected.classifier=linux-x86_64 -Dmaven.test.skip=true

  • 3. pom中版本调整
  • protobuf-maven-plugin 0.6.1 降到 0.5.0 同时 io.grpc:protoc-gen-grpc-java:1.54.0 com.google.protobuf:protoc:21.0-rc-1
    升版本 0.5.0升到 0.6.1 同时 io.grpc:protoc-gen-grpc-java:3.21.9 com.google.protobuf:protoc:3.21.9

  • 4.去掉 sparksession指定local的运行设定代码
  • etc: 中间也出现过 编译问题 “protoc CreateProcess error=216, 该版本的 %1 与您运行的 Windows 版本不兼容”,这个的处理就不说了。

http://www.lryc.cn/news/139718.html

相关文章:

  • nginx 反向代理的原理
  • 【SpringBoot】第二篇:RocketMq使用
  • 飞天使-vim简单使用技巧
  • 分布式搜索引擎----elasticsearch
  • AnnotationConfigApplicationContext类和ClasspathXmlApplicationContext类的区别?
  • 使用VSCode SSH实现公网远程连接本地服务器开发的详细教程
  • Codeforces Round 894 (Div. 3)
  • ACL2023 Prompt 相关文章速通 Part 1
  • “R语言+遥感“水环境综合评价方法
  • 数据结构之哈希
  • 可视化绘图技巧100篇基础篇(七)-散点图(一)
  • 关于什么是框架
  • iOS开发Swift-集合类型
  • 【keepalived双机热备与 lvs(DR)】
  • C++笔记之静态成员函数可以在类外部访问私有构造函数吗?
  • 最新SQLMap进阶技术
  • 【BurpSuite常用功能介绍】
  • Leetcode 108. 将有序数组转换为二叉搜索树
  • 小匠物联联合亚马逊云助力企业数智化出海
  • (五)k8s实战-配置管理
  • GPT---1234
  • 计算机竞赛 基于大数据的时间序列股价预测分析与可视化 - lstm
  • python进行数据分析:数据预处理
  • 百度Apollo:引领自动驾驶技术的创新与突破
  • Python爬虫 异步、缓存技巧
  • YOLOv5屏蔽区域检测(选择区域检测)
  • 记录一次presto sql执行报错 Error executing query的解决办法
  • Android Studio开发之路 (五)导入OpenCV以及报错解决
  • vue3.3中ref和reactive原理源代码分析
  • 10.Oracle中decode函数