当前位置: 首页 > news >正文

Spark项目Java和Scala混合打包编译

文章目录

  • 项目结构
  • Pom完整文件
  • 编译
  • 查看

实际开发用有时候引用自己写的一些java工具类,但是整个项目是scala开发的spark程序,在项目打包时需要考虑到java和scala混合在一起编译。
今天看到之前很久之前写的一些打包编译文章,发现很多地方不太对,于是重新整理更新如下。

项目结构

我们的项目结构可能如下图,既包含java的程序,也包含scala的程序。或者在scala的包中也包含了java程序。
在这里插入图片描述
实际开发中,我们可以不写src/main/java这个包,将java和scala程序全部放到src/main/scala中。

Pom完整文件

这是一个spark程序的完整的pom文件。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.king</groupId><artifactId>ggtool</artifactId><version>1.0-SNAPSHOT</version><properties><java.version>1.8</java.version><scala.version>2.12.15</scala.version><spark.version>3.3.0</spark.version></properties><dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>3.3.0</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.12</artifactId><version>3.3.0</version></dependency><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.12.15</version></dependency></dependencies><build><resources><resource><directory>${project.basedir}/src/main/resources</directory></resource></resources><plugins><!--解决java和scala混合编译出错--><plugin><groupId>net.alchim31.maven</groupId><artifactId>scala-maven-plugin</artifactId><version>3.3.1</version><executions><execution><id>scala-compile-first</id><phase>process-resources</phase><goals><goal>add-source</goal><goal>compile</goal></goals></execution><execution><phase>compile</phase><goals><goal>compile</goal><goal>testCompile</goal></goals></execution></executions><configuration><scalaVersion>${scala.version}</scalaVersion><args><arg>-target:jvm-1.8</arg></args></configuration></plugin><!-- java compile--><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.1</version><configuration><source>${java.version}</source><target>${java.version}</target><compilerArgument>-Xlint:unchecked</compilerArgument></configuration></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-shade-plugin</artifactId><version>3.2.4</version><executions><execution><phase>package</phase><goals><goal>shade</goal></goals><configuration><createDependencyReducedPom>false</createDependencyReducedPom><filters><filter><artifact>*:*</artifact><excludes><exclude>META-INF/*.SF</exclude><exclude>META-INF/*.DSA</exclude><exclude>META-INF/*.RSA</exclude></excludes></filter></filters></configuration></execution></executions></plugin></plugins></build>
</project>

scala-maven-plugin 用来打包scala程序,
maven-compiler-plugin 用来打包java程序。

编译

这样在idea的右边工具栏中直接点击package即可完成打包。
在这里插入图片描述

在这里插入图片描述
在target的目录中,完整的包如下。
在这里插入图片描述

查看

用压缩软件打开生成的jar包,可以看到java和scala的文件都编译在一起了。

在这里插入图片描述

http://www.lryc.cn/news/138387.html

相关文章:

  • 深度学习处理文本(NLP)
  • 汽车电子笔记之:AUTOSAR方法论及基础概念
  • 鼠标拖拽盒子移动
  • AUTOSAR从入门到精通-【应用篇】面向车联网的车辆攻击方法及入侵检测
  • 0101prox-shardingsphere-中间件
  • FactoryBean和BeanFactory:Spring IOC容器的两个重要角色简介
  • 微服务中间件--分布式搜索ES
  • 触摸屏与PLC之间 EtherNet/IP无线以太网通信
  • Crontab定时任务运行Docker容器(Ubuntu 20)
  • Fegin异步情况丢失上下文问题
  • 《Linux从练气到飞升》No.17 进程创建
  • python + pyside2,pyside6,运行错误
  • 第60步 深度学习图像识别:误判病例分析(Pytorch)
  • 基于Java+SpringBoot+vue前后端分离夕阳红公寓管理系统设计实现
  • 远控木马病毒分析
  • 线性代数的学习和整理7:各种特殊效果矩阵汇总
  • [git]github上传大文件
  • element ui - el-select获取点击项的整个对象item
  • 实现SSM简易商城项目的购物车实现
  • 【学习FreeRTOS】第17章——FreeRTOS任务通知
  • GO-vscode远程开发和调试
  • 【笔记】判断两个Double类型的值是否相同
  • Linux —— nfs文件系统
  • 数据降维 | MATLAB实现T-SNE降维特征可视化
  • 蓝桥杯上岸每日N题 (交换瓶子)
  • GMS基本模块TIN、Solids、Modflow2000/2005、MT3DMS、MODPATH。及其在地下水流动、溶质运移、粒子追踪方面的应用
  • MySQL数据库中间件Mycat介绍及下载安装(教程)
  • 【VMware】CentOS 设置静态IP(Windows 宿主机)
  • 机器学习十大算法之七——随机森林
  • spring boot 3使用 elasticsearch 提供搜索建议