SQL进阶技巧：如何优化NULL值引发的数据倾斜问题？

目录

0 场景描述

1 问题分析

1.1 问题剖析

1.2 解决方案

2 小结

0 场景描述

实际业务中有些大量的null值或者一些无意义的数据参与到计算作业中，表中有大量的null值，如果表之间进行join操作，就会有shuffle产生，这样所有的null值都会被分配到一个reduce中，必然产生数据倾斜。

1 问题分析

1.1 问题剖析

疑问：NULL值和需要匹配的字段根本就匹配不上，为什么会进入到同一个reduce?

数据放到同一个reduce中的原因不是因为字段能不能join上，而是因为shuffle阶段的数据分发操作（数据路由算法决定的），因为join中的key要进行匹配，在mr中此时key需要被分发，只要key的hash结果是一样的，它们就会被拉到同一个reduce中，被分到