数据倾斜那些事儿
目录
一、什么是数据倾斜？
二、预判与预防
三、躲闪策略
四、硬刚策略
一、什么是数据倾斜？
之前在大厂当了好几年的sqlboy，数据倾斜这个“小烦人精”确实经常在工作中出没。用简单的话来说，数据倾斜就像是“贫富差距”在数据世界里的体现——某些数据特别“富有”，而其他数据则相对“贫穷”。
具体来说，数据倾斜指的是在数据集中，某个特定的特征值或某个类别的样本数量，远大于其他特征值或类别的样本数量。
那么，数据倾斜会带来哪些问题呢？
- 性能下降：由于某些节点或任务处理的数据量远大于其他节点，这些节点或任务的执行时间会更长，导致整体性能下降。
- 资源浪费：虽然大部分节点或任务可能很快完成，但由于少数节点或任务的处理时间过长，整个系统需要等待这些任务完成，从而浪费了计算资源。
接下来，让我们来看看如何解决这个“贫富差距”问题：
二、预判与预防
- 确保原始数据不倾斜：在收集数据时，尽量确保数据的多样性和均衡性，避免出现明显的倾斜。
三、躲闪策略
- 规避数据倾斜：在数据处理和分析过程中，尽量规避可能导致数据倾斜的操作，比如避免对某些特征进行过度的筛选或聚合。
- 识别key的热值：通过无放回采样，查看key的分布，识别出倾斜的key值。
- 数据过滤：对造成数据倾斜的超级key值进行过滤，单独处理这些节点。
四、硬刚策略
当无法避免数据倾斜时，我们可以采用各种方法来优化处理过程：
- 调整数据分区方式：例如，使用哈希分区将数据均匀地分散到不同的节点上，从而减少节点间的负载差异。
- 增加分区数目：将数据划分到更多的节点上进行并行计算，从而减轻负载压力。但需要注意，过多的分区数目也会增加通信开销。
- 使用随机前缀：为键值对添加随机前缀，可以将原本集中在少数节点上的数据分散到更多的节点上，实现负载均衡。
- 增加Combiner的使用：在Map阶段之后、Reduce阶段之前对Map任务的输出进行局部聚合，减少数据传输量，从而减轻节点间的负载差异。
- 使用二次聚合：在第一次聚合的结果上再进行一次聚合操作，将数据进一步合并，减少节点间的负载差异。
- 动态调整分区策略：根据实际情况动态调整分区策略，实现负载均衡。
- 数据重分布：如果以上方法都无法解决数据倾斜问题，可以考虑进行数据重分布。
通过这些方法，我们可以有效地应对数据倾斜问题，让数据世界变得更加和谐与平衡。
这里主要是列举了解决数据倾斜的思路，没有举具体的例子。如有需要，请留言。