一、核心概念与演进背景
1.1 RDD（弹性分布式数据集）
- 定义：RDD 是 Spark 最早的核心抽象（1.0版本引入），代表不可变、分区的分布式对象集合，支持函数式编程和容错机制。
- 特点：
- 无结构化信息：仅存储对象本身，无法自动感知数据内部结构（如字段名、类型）。
- 编译时类型安全：通过泛型支持静态类型检查（如
RDD[Person]）。 - 高灵活性：支持任意可序列化对象，适用于非结构化数据处理。
1.2 DataFrame
- 定义：DataFrame 是 Spark 1.3 引入的结构化抽象，本质是
Dataset[Row]，以命名列形式组织数据，类似关系型数据库表。 - 特点：
- 结构化 Schema：显式定义列名和类型（如
name:String, age:Int），支持 SQL 查询和优化。 - 执行优化：通过 Catalyst 优化器自动生成高效执行计划（如谓词下推、列裁剪）。
- 内存管理：使用堆外存储和 Tungsten 二进制格式，减少 GC 开销。
1.3 Dataset
- 定义：Dataset 是 Spark 1.6 推出的强类型 API，结合 RDD 的类型安全与 DataFrame 的执行优化。
- 特点：
- 类型安全：编译时检查数据字段类型（如
Dataset[Person]），避免运行时错误。 - 统一接口：兼容 RDD 的操作函数（如
map）和 DataFrame 的 SQL 查询。 - 编码器优化：通过 Encoder 实现 JVM 对象与二进制格式的高效转换。
二、关键差异对比
2.1 数据表示与结构
| 特性 | RDD | DataFrame | Dataset |
|---|
| 数据结构 | 无 Schema，泛型对象 | 有 Schema，Row 对象 | 有 Schema，强类型对象 |
| 类型安全 | 编译时安全 | 运行时检查 | 编译时安全 |
| 序列化 | Java 序列化（高开销） | Tungsten 二进制格式 | Encoder 优化格式 |
| 适用数据 | 结构化/非结构化 | 结构化/半结构化 | 结构化/半结构化 |
2.2 性能优化
- RDD：因频繁创建临时对象导致 GC 压力大，需手动优化分区和持久化策略。
- DataFrame/Dataset：
- Catalyst 优化器：自动优化逻辑计划（如过滤下推、聚合优化）。
- Tungsten 引擎：堆外内存管理和代码生成技术提升计算速度。
- 统计剪枝：利用数据统计信息跳过无关分区（如 Parquet 文件的最大值/最小值）。
2.3 API 与编程模型
- RDD：函数式编程（如
map, filter），适合复杂业务逻辑。 - DataFrame：声明式 SQL 语法（如
select("name").where("age>30")），适合结构化分析。 - Dataset：混合模式，支持 Lambda 函数与 SQL 表达式（如
ds.filter(p => p.age > 30)）。
三、适用场景与选择建议
3.1 根据数据特征选择
3.1.1 结构化数据（JSON/CSV/Parquet等）
- 推荐抽象：DataFrame/Dataset
- 案例说明：
某电商平台需要分析用户行为日志（JSON格式），使用spark.read.json()创建DataFrame后，可直接通过SQL语法进行聚合查询（如计算每日UV）。DataFrame的自动模式发现特性可自动解析JSON结构，Catalyst优化器会对groupBy操作进行查询优化。
3.1.2 半结构化数据（日志文件/XML）
- 推荐抽象：RDD + DataFrame组合
- 案例说明：
处理服务器原始日志时，先用RDD进行初步清洗（如正则提取关键字段），再通过.toDF()转为DataFrame进行结构化分析。这种混合模式既能处理不规则数据，又能利用DataFrame的优化性能。
3.1.3 非结构化数据（文本流/二进制）
- 推荐抽象：RDD
- 案例说明：
图像处理任务中，使用sc.binaryFiles()读取图片文件生成RDD，通过自定义map函数实现像素矩阵转换。
