当前位置: 首页 > news >正文

Spark将execl表格文件导入到mysql中

实现代码

excel所需的pom依赖 

案例实现 


实现代码

package excel_mysqlimport org.apache.spark.sql.SparkSession
import java.util.Propertiesobject t1 {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("ExcelToMySQL") //项目名.master("local[*]").getOrCreate()// 读取Excel表val df = spark.read.format("com.crealytics.spark.excel") //需要的包.option("header", "true").load("file:///D:\\sparks\\src\\main\\datas\\d.xlsx") //本地excel文件路径// 创建MySQL连接配置val jdbcHostname = "192.168.10.137" //连接主机ipval jdbcPort = 3306 //端口val jdbcDatabase = "test" //数据库名val jdbcUsername = "root" //用户名val jdbcPassword = "123456" //mysql密码val jdbcUrl = s"jdbc:mysql://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}"val connectionProperties = new Properties()connectionProperties.put("user", s"${jdbcUsername}")connectionProperties.put("password", s"${jdbcPassword}")// 将DataFrame写入MySQL表中df.write.mode("overwrite").jdbc(jdbcUrl, "user_info", connectionProperties) //导入目标的mysql数据库下的表名spark.stop()}
}

excel所需的pom依赖 

        <dependency><groupId>com.crealytics</groupId><artifactId>spark-excel_2.12</artifactId><version>0.13.7</version></dependency>

案例实现 

        准备的excel表: 

        放在路径下面: 

 

 执行代码:

 在mysql中查看:

 

http://www.lryc.cn/news/248081.html

相关文章:

  • Vue3-Eslint配置代码风格
  • “Install Js dependencies failed“JS SDK安装失败【Bug已解决-鸿蒙开发】
  • 接口测试入门8问(含答案+文档)
  • 【Spring之事务底层源码解析,持续更新中~~~】
  • 吃火锅(Python)
  • 深圳市东星制冷机电受邀莅临2024国际生物发酵展,济南与您相约
  • 内网渗透(哈希传递)
  • 如何在langchain中对大模型的输出进行格式化
  • 【送书活动二期】Java和MySQL数据库中关于小数的保存问题
  • 11月21日,每日信息差
  • 极速整理文件!Python自动化办公新利器
  • 电机控制学习
  • leetcode 1670
  • Nginx热部署
  • 京东数据运营-京东数据平台-京东店铺数据分析-2023年10月京东烘干机品牌销售榜
  • java中的方法引用和Stream流
  • 《第一行代码:Android》第三版-3.4.4体验Activity的生命周期
  • 用java编写一个网络聊天室
  • Opencv颜色追踪
  • 计算机网络——网络可靠性及网络出口配置
  • 在虚拟机搭建nignx,和使用本地访问nginx的情况
  • Java数据结构之《直接插入排序》问题
  • 向量场中的几个恒等式
  • 异行星低代码平台--第三方插件对接:钉钉平台对接(一)
  • MyBatis使用教程详解<下>
  • C++基础 -17-继承中 基类与派生构造和析构调用顺序
  • uniapp实现表单弹窗
  • Ajax 是什么? 如何创建一个 Ajax?
  • 【LeetCode】101. 对称二叉树
  • O-Star|再相识