当前位置： 首页 > news >正文

IDEA2022 配置spark开发环境

news 2025/8/13 13:08:02

本人强烈建议在 linux环境下 学习 spark！！！

Introduction

  • Apache Spark是一个快速且通用的分布式计算引擎，可以在大规模数据集上进行高效的数据处理，包括数据转换、数据清洗、机器学习等。在本文中，我们将讨论如何在Windows上配置Spark开发环境，以及如何进行开发和测试等。

安装 Java 和 Spark

  • 为了在Windows上使用Spark开发环境，你需要先安装Java和Spark，并配置环境变量。你可以从Oracle官网下载最新版本的Java Development Kit（JDK），然后安装它。在安装完成后，你需要将Java的安装目录添加到系统环境变量中，以便Spark可以找到Java。接下来，你可以从Apache Spark官网下载适用于Windows的二进制文件，并解压到本地目录。
    env
    spark-shell

使用 Pyspark 或 Spark shell

  • 在下载Spark二进制文件后，你可以使用Pyspark或Spark shell在本地或集群上进行开发。Pyspark是一个Python API，可以使开发者用Python编写Spark应用程序。Spark shell是一个交互式环境，可以允许你使用Scala、Java或Python来调试和测试Spark代码。你可以在命令行中输入“pyspark”或“spark-shell”命令来启动相应的环境。

安装 Winutils 工具

  • Winutils是一个用于在Windows上运行Hadoop的工具，它提供了一些必要的组件和环境变量，以便Spark可以在Windows上运行。你需要从Apache官网下载Winutils二进制文件，并解压到本地目录。接下来，你需要将Winutils的安装目录添加到系统环境变量中，以便Spark可以找到它。
  • 切记：下载与自己hadoop对应的版本，并将原本hadoop/bin替换掉！

Conclusion

  • 在开发和部署Spark应用程序时，确保你了解Spark的最佳实践和安全性措施，以避免潜在的安全漏洞和性能问题。你可以使用一些第三方的库来扩展你的Spark开发环境，例如Pyrolite和SparkR。此外，你还可以考虑使用一些数据可视化工具来帮助你更好地了解和展示你的数据，例如Tableau和PowerBI等。最后，要时刻注意更新你的环境和依赖库，以保持最新的功能和性能优化。

使用集成开发环境（IDE）

  • 除了使用Pyspark或Spark shell，你还可以考虑使用一些集成开发环境（IDE）来提高开发效率，例如PyCharm或IntelliJ IDEA等。这些IDE提供了更强大的代码编辑、自动补全和调试功能，可以帮助你更快地开发和测试Spark应用程序。此外，一些IDE还提供了一些有用的插件，可以帮助你更好地管理你的项目和依赖库。
    idea

安装下列插件：

datascala
maven

在集群上运行 Spark 应用程序

  • 在使用集群时，确保你有足够的资源来支持你的开发和测试，例如足够的内存和处理器。你可以使用一些集群管理工具，例如Apache Hadoop、Apache Mesos或者Apache YARN等来管理和分配资源。在部署Spark应用程序时，你需要将你的应用程序打包成一个jar文件，并将其提交到集群中运行。你可以使用一些工具，例如Apache Maven或SBT等来打包和管理你的应用程序。
  • 如果你已经在Windows上配置了Spark开发环境，可以考虑使用sbt来打包和管理你的应用程序，而不是使用maven打包和管理。这可以帮助你更好地管理你的依赖库和构建过程，并提高你的开发效率。另外，你还需要时刻注意更新你的环境和依赖库，以保持最新的功能和性能优化。
    附上：SBT的使用教程

创建mvn项目：

create

扩展你的 Spark 开发环境

  • 你可以使用一些第三方的库来扩展你的Spark开发环境，例如Pyrolite和SparkR。Pyrolite是一个Python库，可以让你在Python中使用Java类和对象，从而方便你与Java代码进行交互。SparkR是一个R语言的API，可以让你用R语言编写Spark应用程序。此外，你还可以使用一些数据可视化工具来帮助你更好地了解和展示你的数据，例如Tableau和PowerBI等。
    noticenotice

更新你的环境和依赖库

  • 最后，在开发Spark应用程序时，你需要时刻注意更新你的环境和依赖库，以保持最新的功能和性能优化。你可以使用一些工具，例如Apache Maven或SBT等来管理你的依赖库，并定期更新它们。此外，你还需要定期更新你的Spark版本和相关组件，以获得最新的功能和修复潜在的漏洞。

Bugs 修复

scalac: Error: Error compiling the sbt component 'compiler-interface-2.11.8-61.0'
sbt.internal.inc.CompileFailed: Error compiling the sbt component 'compiler-interface-2.11.8-61.0'at sbt.internal.inc.AnalyzingCompiler$.handleCompilationError$1(AnalyzingCompiler.scala:436)at sbt.internal.inc.AnalyzingCompiler$.$anonfun$compileSources$5(AnalyzingCompiler.scala:453)at sbt.internal.inc.AnalyzingCompiler$.$anonfun$compileSources$5$adapted(AnalyzingCompiler.scala:448)at sbt.io.IO$.withTemporaryDirectory(IO.scala:490)at sbt.io.IO$.withTemporaryDirectory(IO.scala:500)at sbt.internal.inc.AnalyzingCompiler$.$anonfun$compileSources$2(AnalyzingCompiler.scala:448)at sbt.internal.inc.AnalyzingCompiler$.$anonfun$compileSources$2$adapted(AnalyzingCompiler.scala:440)at sbt.io.IO$.withTemporaryDirectory(IO.scala:490)at sbt.io.IO$.withTemporaryDirectory(IO.scala:500)at sbt.internal.inc.AnalyzingCompiler$.compileSources(AnalyzingCompiler.scala:440)at org.jetbrains.jps.incremental.scala.local.CompilerFactoryImpl$.org$jetbrains$jps$incremental$scala$local$CompilerFactoryImpl$$getOrCompileInterfaceJar(CompilerFactoryImpl.scala:162)at org.jetbrains.jps.incremental.scala.local.CompilerFactoryImpl.$anonfun$getScalac$1(CompilerFactoryImpl.scala:58)at scala.Option.map(Option.scala:242)at org.jetbrains.jps.incremental.scala.local.CompilerFactoryImpl.getScalac(CompilerFactoryImpl.scala:51)at org.jetbrains.jps.incremental.scala.local.CompilerFactoryImpl.createCompiler(CompilerFactoryImpl.scala:20)at org.jetbrains.jps.incremental.scala.local.CachingFactory.$anonfun$createCompiler$3(CachingFactory.scala:21)at org.jetbrains.jps.incremental.scala.local.Cache.$anonfun$getOrUpdate$2(Cache.scala:17)at scala.Option.getOrElse(Option.scala:201)at org.jetbrains.jps.incremental.scala.local.Cache.getOrUpdate(Cache.scala:16)at org.jetbrains.jps.incremental.scala.local.CachingFactory.createCompiler(CachingFactory.scala:21)at org.jetbrains.jps.incremental.scala.local.LocalServer.doCompile(LocalServer.scala:40)at org.jetbrains.jps.incremental.scala.local.LocalServer.compile(LocalServer.scala:27)at org.jetbrains.jps.incremental.scala.remote.Main$.compileLogic(Main.scala:206)at org.jetbrains.jps.incremental.scala.remote.Main$.$anonfun$handleCommand$1(Main.scala:193)at org.jetbrains.jps.incremental.scala.remote.Main$.decorated$1(Main.scala:183)at org.jetbrains.jps.incremental.scala.remote.Main$.handleCommand(Main.scala:190)at org.jetbrains.jps.incremental.scala.remote.Main$.serverLogic(Main.scala:166)at org.jetbrains.jps.incremental.scala.remote.Main$.nailMain(Main.scala:106)at org.jetbrains.jps.incremental.scala.remote.Main.nailMain(Main.scala)at jdk.internal.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.base/java.lang.reflect.Method.invoke(Method.java:568)at com.facebook.nailgun.NGSession.runImpl(NGSession.java:312)at com.facebook.nailgun.NGSession.run(NGSession.java:198)

解决办法：
fix
检查此处配置！

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

将SPARK_HOME/conf 目录下的 log4j.properties.template 重命名为 log4j.properties

23/03/02 18:29:33 INFO SparkContext: Created broadcast 0 from textFile at FrameDemo.scala:13
23/03/02 18:29:34 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:278)at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:300)at org.apache.hadoop.util.Shell.<clinit>(Shell.java:293)at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:76)at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:362)at <br>org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$33.apply(SparkContext.scala:1015)at org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$33.apply(SparkContext.scala:1015)at <br>org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:176)at <br>org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:176)<br>at scala.Option.map(Option.scala:145)<br>at org.apache.spark.rdd.HadoopRDD.getJobConf(HadoopRDD.scala:176)<br>at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:195)<br>at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)<br>at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)<br>at scala.Option.getOrElse(Option.scala:120)<br>at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)<br>at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35)<br>at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)<br>at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)<br>at scala.Option.getOrElse(Option.scala:120)<br>at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)<br>at org.apache.spark.SparkContext.runJob(SparkContext.scala:1929)<br>at org.apache.spark.rdd.RDD.count(RDD.scala:1143)<br>at com.org.SparkDF.FrameDemo$.main(FrameDemo.scala:14)<br>at com.org.SparkDF.FrameDemo.main(FrameDemo.scala)<br>

以编程方式设置 HADOOP_HOME 环境变量：

System.setProperty（“hadoop.home.dir”， “full path to the folder with winutils”）;

总结

  • 在本文中，我们讨论了如何在Windows上配置Spark开发环境，并介绍了如何使用Pyspark或Spark shell进行开发和测试。此外，我们还讨论了如何使用集成开发环境（IDE）和扩展你的Spark开发环境。最后，我们提醒你时刻注意更新你的环境和依赖库，以保持最新的功能和性能优化。如果你正在学习Spark开发，希望这篇文章能够帮助你更好地开始你的Spark开发之旅。
http://www.lryc.cn/news/27063.html

相关文章：

  • 趣味答题竞赛小程序开发功能的详细介绍
  • 【独家】华为OD机试提供C语言题解 - 获取最大软件版本号
  • k8s编程operator实战之云编码平台——⑤项目完成、部署
  • C语言杂记（指针篇）
  • ES window 系统环境下连接问题
  • hexo部署github搭建个人博客 完整详细带图版（更新中）
  • SpringBoot集成DruidDataSource实现监控 SQL 性能
  • maven镜像源及代理配置
  • 【Java面试篇】Spring中@Transactional注解事务失效的常见场景
  • 【C】分配内存的函数
  • IDEA 断点总是进入class文件没有进入源文件解决
  • 【flink】 flink入门教程demo 初识flink
  • LeetCode 1487. 保证文件名唯一
  • 详细剖析｜袋鼠云数栈前端框架Antd 3.x 升级 4.x 的踩坑之路
  • 【C++PrimerPlus】第三章 处理数据
  • 【基础算法】单链表的OJ练习(1) # 反转链表 # 合并两个有序链表 #
  • 离散数学笔记（1）命题逻辑
  • IDEA Android 网格布局(GridLayout）示例(计算器界面布局)
  • 【蓝桥杯嵌入式】拓展板之数码管显示
  • Web Spider案例 网洛克 第三题 AAEncode加密 练习(七)
  • 【javaScript面试题】2023前端最新版javaScript模块，高频24问
  • Hadoop集群启动从节点没有DataNode
  • FIFO IP Core
  • 从FPGA说起的深度学习（四）
  • pytorch入门7--自动求导和神经网络
  • QT 之wayland 事件处理分析基于qt5wayland5.14.2
  • 【this 和 super 的区别】
  • K8s:Monokle Desktop 一个集Yaml资源编写、项目管理、集群管理的 K8s IDE
  • 自动化测试实战篇(8),jmeter并发测试登录接口，模拟从100到1000个用户同时登录测试服务器压力
  • ATTCK v12版本战术实战研究—持久化（二）