当前位置: 首页 > news >正文

【spark】Exception in thread “main“ ExitCodeException exitCode=-1073741701

在window上运行spark程序写到本地文件的时候报错。

    val rdd = sc.sparkContext.parallelize(list)val arr = rdd.collect()arr.foreach(println)rdd.saveAsTextFile("test1")sc.close()

错误信息:

zhangsan
lisi
wangwu
Exception in thread "main" ExitCodeException exitCode=-1073741701: at org.apache.hadoop.util.Shell.runCommand(Shell.java:1009)at org.apache.hadoop.util.Shell.run(Shell.java:902)at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1227)at org.apache.hadoop.util.Shell.execCommand(Shell.java:1321)at org.apache.hadoop.util.Shell.execCommand(Shell.java:1303)at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:777)at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:522)at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:562)

前提:
添加了HADOOP_HOME环境变量,指向了window的hadoop环境。
然后再运行程序的时候报错的。
运行时写本地window磁盘报错:Exception in thread “main” ExitCodeException exitCode=-1073741701:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:1009)

解决方法:

以下这些文件百度都可以搜的到,偷懒的就去下面资源文件下载,好像还在审核中。msvcr120.dll文件缺失
方法一:
现在大部分操作系统应该都是64位了,以下2个都放。
msvcr120文件夹中64位放C:\Windows\SysWOW64目录。
msvcr120文件夹中32位放C:\Windows\System32目录。方法二(大招):
方法一仍然不行的话,就使用方法二:
安装vc++合集,直接运行安装。
MSVBCRT_AIO_2018.07.31_X86+X64.exe

安装好后,运行正常。
在这里插入图片描述
相关资源链接:
https://download.csdn.net/download/wang6733284/89529247

http://www.lryc.cn/news/397236.html

相关文章:

  • 数学建模美赛经验小结
  • 206. 反转链表 (Swift 版本)
  • 海狐外卖O2O商城系统:技术架构与运营模式的深度解析
  • 14-31 剑和诗人5 - 使用 AirLLM 和分层推理在单个 4GB GPU 上运行 LLama 3 70B
  • 风景园林工程设计乙级资质业绩要求案例分析
  • 无人机之飞行规划与管理篇
  • realsense D435l+mid360标定
  • 深度学习中的正则化技术 - 数据集增强篇
  • 【Docker系列】Docker 镜像源:优化你的容器化开发流程
  • 【Linux】Windows环境下配置虚拟机静态IP
  • 完美解决AttributeError: ‘list‘ object has no attribute ‘shape‘的正确解决方法,亲测有效!!!
  • 链接服务器“XX”的OLEDB访问接口“MSOLEDBSQL”返回了消息“登录超时已过期” 解决方法
  • 【AI伦理与社会责任】讨论人工智能在隐私保护、偏见消除、自动化对就业的影响等伦理和社会问题。
  • Qt编程技巧小知识点(1)TCP缓存区数据读取
  • vue 搭建 pinia
  • 什么是CLR
  • Spring MVC -01
  • 山海鲸可视化——天地图画面和热力图
  • Python 利用pandas处理CSV文件(DataFrame的基础用法)
  • c++ 的(引用)和*(指针)
  • 人工智能算法工程师(中级)课程6-sklearn机器学习之聚类问题与代码详解
  • Objective-C 中的 isa 不再是简单的结构体指针
  • 中介子方程五十二
  • LabVIEW在半导体自动化测试中的应用
  • 政安晨:【Keras机器学习示例演绎】(五十三)—— 使用 TensorFlow 决策森林进行分类
  • 51单片机:电脑通过串口控制LED亮灭(附溢出率和波特率详解)
  • Java中的消息中间件选择与比较
  • react基础语法,模板语法,ui渲染,jsx,useState状态管理
  • OJ-0710
  • 人工智能在自动驾驶中的目标检测研究