当前位置: 首页 > news >正文

14 | Spark SQL 的 DataFrame API 读取CSV 操作

sales.csv 内容

date,category,product,full_name,sales
2023-01-01,Electronics,Laptop,John Smith,1200.0
2023-01-02,Electronics,Smartphone,Jane Doe,800.0
2023-01-03,Books,Novel,Michael Johnson,15.0
2023-01-04,Electronics,Tablet,Emily Wilson,450.0
2023-01-05,Books,Textbook,James Brown,40.0

当使用 Spark SQL 的 DataFrame API 读取 CSV 文件时,你可以按照以下步骤进行操作。

package com.sparksql.operation;import org.apache.spark.sql.*;import org.apache.spark.sql.expressions.*;import static org.apache.spark.sql.functions.*;public class SparkDataFrame {public static void main(String[] args) {// 创建 SparkSessionSparkSession spark = SparkSession.builder().appName("SparkDataFrameTutorial").master("local[*]").getOrCreate();// 读取包含日期的 CSV 文件String csvPath = SparkDataFrame.class.getClassLoader().getResource("sparksqldata/sales.csv").getPat
http://www.lryc.cn/news/151723.html

相关文章:

  • redis面试题二
  • 虚拟现实(VR)和增强现实(AR)
  • 如何使用ChatGPT提词器,看看这篇文章
  • vue3-vuex持久化实现
  • 详解 SpringMVC 的 @RequestMapping 注解
  • 类的静态成员变量 static member
  • MVSNet (pytorch版) 搭建环境 运行dtu数据集重建 实操教程(图文并茂、超详细)
  • Linux系统Ubuntu以非root用户身份操作Docker的方法
  • m4s格式转换mp4
  • SQL sever中库管理
  • 模板方法模式简介
  • 自动化运维工具-------Ansible(超详细)
  • 计算机毕设 基于生成对抗网络的照片上色动态算法设计与实现 - 深度学习 opencv python
  • Citespace、vosviewer、R语言的文献计量学 、SCI
  • linux操作系统的权限的深入学习
  • LeetCode——三数之和(中等)
  • SpringMVC使用
  • 【css】css奇数、偶数、指定数选择器:
  • 三维数据Ply格式介绍与读取
  • 内存管理方式
  • 文心一言接入Promptulate,开发复杂LLM应用程序
  • TDengine函数大全-聚合函数
  • DRM全解析 —— ADD_FB(2)
  • windows下docker compose方式挂载数据卷volume遇到的问题
  • TCP三次握手四次挥手总结
  • 【0901作业】QTday3 对话框、发布软件、事件处理机制,使用文件相关操作完成记事本的保存功能、处理键盘事件完成圆形的移动
  • mysql数据库运行sql:datetime(0) NULL DEFAULT NULL报错【杭州多测师_王sir】
  • 手撕二叉平衡树
  • 超图嵌入论文阅读1:对偶机制非均匀超网络嵌入
  • Qt xml解析之QXmlStreamReader