flink 和 spark 架构的对比

Flink集群架构

1. 架构组件

   • JobManager：负责协调分布式计算任务的执行，包括调度、资源管理和故障恢复等。
   • TaskManager：实际执行计算任务的工作节点，每个TaskManager包含多个Slot，Slot是Flink中分配资源的基本单位。
   • Client：用于提交作业到集群，并可选地监控作业执行情况。

2. 流处理与批处理统一

   • Flink设计初衷就是为了支持实时数据流处理，但同时也支持批处理作为流处理的一种特殊情况（有限的数据流）。这意味着Flink可以使用同一套API来处理实时和历史数据。

3. 运行时环境

   • Flink采用了一种轻量级的分布式快照机制（基于Chandy-Lamport算法）实现容错，称为checkpointing，这使得Flink能够在保持高吞吐量的同时提供精确一次的状态一致性保证。

4. 编程模型

   • Flink提供了DataStream API和DataSet API分别用于流处理和批处理，尽管从Flink 1.12开始逐渐推荐使用统一的Table API/SQL来处理流批数据。

Spark集群架构

1. 架构组件

   • Driver：控制应用程序的执行流程，将用户程序转换为任务并在集群上调度执行。
   • Executor：在工作节点上运行具体任务的地方，每个Executor可以并行运行多个任务。
   • Cluster Manager：如YARN、Mesos或Standalone模式下的Master，负责管理集群资源和调度应用。

2. 批处理为主，流处理为辅

   • Spark最初设计是为了高效地进行大规模数据集的批处理。后来引入了Spark Streaming以支持近实时的数据处理，但它本质上是对小批量数据的快速处理（微批处理），相比Flink的原生流处理模型有一定延迟。

3. 运行时环境

   • Spark利用RDD（弹性分布式数据集）的概念来进行内存中的数据处理，提供了DAGScheduler和TaskScheduler来优化任务的执行顺序和资源分配。对于容错性，Spark主要依赖于RDD的血统（Lineage）机制，在发生故障时重新计算丢失的数据分区。

4. 编程模型

   • Spark提供了丰富的API，包括RDD API、DataFrame/Dataset API以及Structured Streaming API等，方便用户进行复杂的数据分析和机器学习任务。

主要区别总结

• 设计理念：Flink专注于流处理，而Spark则首先是一个强大的批处理引擎，随后扩展到了流处理领域。
• 处理模型：Flink采用真正的流处理模型，而Spark Streaming采用的是微批处理模型。
• 容错机制：Flink通过轻量级分布式快照实现状态的一致性和容错；Spark依靠RDD的血统信息来实现容错。
• 编程接口：虽然两者都提供了高级别的抽象（如SQL支持），但在底层API的设计上有所不同，例如Flink的DataStream API vs Spark的RDD API。

./bin/spark-submit \--class com.example.YourSparkApp \--master spark://your-spark-master:7077 \/path/to/yourapp.jar

flink run \-m yarn-cluster \-d \-yD yarn.applicationmaster.vcores=1 \-yD yarn.container.vcores=2 \-yD taskmanager.numberOfTaskSlots=2 \/opt/software/lib/flinkcdc-demo-1.0-SNAPSHOT.jar

1. Flink 作业调度

1. 作业调度与执行

   • JobManager接收到提交的作业后，会解析作业图(JobGraph)，根据依赖关系确定执行计划。
   • JobManager将任务分配给可用的TaskManager执行。每个TaskManager负责执行具体的子任务(Task)。
   • 任务执行过程中，状态信息和中间结果会根据配置进行checkpoint，以支持容错。

2. spark 作业调度

• 在提交时，Driver程序启动并与Cluster Manager通信获取资源。
• Cluster Manager根据请求分配Executor到Worker节点上运行，Driver将用户程序转换为任务集(TaskSet)并调度到Executors上执行。
• Spark采用DAGScheduler来优化任务执行顺序，确保高效的数据处理。

一、宽依赖与窄依赖的定义

在Spark中，宽窄依赖描述的是RDD(弹性分布式数据集)之间的依赖关系类型，直接影响数据分区方式和作业执行效率：

1. 窄依赖(Narrow Dependency)

   • 定义：子RDD的每个分区仅依赖于父RDD的一个或少数固定分区(通常一对一或多对一关系)。
   • 数据流动：数据无需跨节点传输(无Shuffle操作)，在本地节点直接处理。
   • 常见算子：
     • map：对每个元素应用函数(如rdd.map(x => x * 2)).
     • filter：按条件过滤元素。
     • union：合并多个RDD，分区一一对应。
     • sample：随机抽样数据。
   • 特点：
     • 高效执行：支持流水线操作，减少网络和磁盘I/O开销。
     • 容错性好：如果子分区失败，只需重算对应的父分区(恢复成本低)。
     • 示例：rdd1.map(...)生成rdd2，每个rdd2分区仅依赖rdd1的一个分区。

2. 宽依赖(Wide Dependency)

   • 定义：子RDD的每个分区可能依赖于父RDD的多个或所有分区(一对多关系)，涉及数据重分区。
   • 数据流动：需要Shuffle操作，即数据在节点间重新分布(跨网络传输)。
   • 常见算子：
     • groupByKey：按Key分组数据。
     • reduceByKey：按键聚合(如求和)。
     • join(非哈希分区)：连接两个RDD，需重新分区对齐数据。
     • partitionBy：自定义分区操作。
   • 特点：
     • 性能开销大：Shuffle导致高网络和磁盘I/O，可能成为性能瓶颈。
     • 容错性复杂：子分区失败需重算所有依赖的父分区(恢复成本高)。
     • 示例：rdd1.reduceByKey(...)生成rdd3，每个rdd3分区依赖rdd1的多个分区。

二、关键区别总结

三、为什么重要

• 执行计划优化：Spark基于宽依赖划分Stage(执行阶段)，窄依赖操作被链入同一Stage并行执行，减少数据传输。
• 性能调优：减少宽依赖(如用mapPartitions替代groupByKey)可提升作业效率。
• 故障恢复：窄依赖的恢复成本更低，提高系统可靠性。