Flink+Spark相关记录

Flink+Spark相关记录

• FlinkSQL

• Flink Streaming的一些点
• 覆写RichSource、RichSink、RichMap
  1.Source自动负载均衡，CDC源端加入一个全局调控的节点监控流量流速
  2.Sink并发写入
  3.Map与Iterator与增量迭代等用法
• 关于Checkpoint几个用法
  1.提交Commit至目的端数据库
  2.UnalignedCheckpoint与ChandyLamport与ChangeLog存增量快照
  3.Buffer写盘
  4.ckp与record共抢一把锁，独占writeBuffer（1.16版本），ckp禁止太快
  5.State写盘+broadcast+JVM+keyState+operatorState+并行度自动扩缩容时恢复

Spark记录

• groupByKey
• reduceByKey
• combineByKey(createCombiner+mergeValue+mergeCombiner)
• aggregate(n)(seqOp,combOp)
• 关于ByKey和Join不一定会产生shuffle，先设置好new HashPartition或Custom或Range、之后直接forward不需要shuffle
• Driver产生一个DAG
  1.一个DAG里的一个节点=>一个RDD
  2.一个RDD=>多个分区
  3.一个分区=>一个Task
  ===>一个DAG有多个RDD，一个RDD有多个Task
  ===>也就是DAG控制多个弹性数据集流转

• JVM与堆外内存
• JVM里的StorageMemory（读RDD用）和ExecutionMemory（shuffle/agg/join用）
• 关于合理设计Block->TaskPartition大小，(4G-200M)*0.5，又因为动态可以弹性，可直接3.8G
• Spark设置cache和persist缓存级别（每个分区的都会cache，cache务必保证100%否则重算）
• 对于Flink又有一个slot(JVM)里运行多个算子，所以可以考虑slot内数据总量和资源消耗整体分析
• 关于Executor add后很久才执行，说明任务调度拥堵
• 堆外内存