数据湖对比（hudi,iceberg,paimon,Delta）

数据湖

Delta

更新原理

update/delete/merge 实现均基于spark的join功能。

定位

做基于spark做流批一体的数据处理

缺点

本质为批处理。强绑定spark引擎。整体性能相较其他数据湖比较差

数据湖

hudi

更新原理

通过hudi自定义的主键索引hoodiekey + 布隆过滤器 + 文件join合并实现更新

定位

面向spark，为了解决在hadoop体系内数据更新和增量查询的问题。定位是实现数仓+数据库的功能。

缺点

本质为批处理

整体架构耦合性强，系统设计复杂，各个引擎之间的兼容性较差，参数众多。

趋势在不断的在完善面向批处理的架构细节改造，对spark友好，无法彻底适配流处理更新能力。

数据湖

iceberg

更新原理

写入时数据分为delete 和 insert 文件，查询时通过序列号定位文件生成先后 + join 得到最后结果

定位

官方定位是面向海量数据分析场景，底层设计抽象，通用标准设计。不依赖任何计算引擎。

缺点

本质为批处理，主打离线数据湖和扩展性

在国外的应用场景主要是离线取代 Hive，虽然扩展性强，也导致计算引擎有较多优化空间，后续发展难以迅速，需要涉及众多对接引擎。

数据湖

更新原理

通过内存 + 磁盘实现lsm数据结构

定位

CDC更新入湖，可被准实时查询，并大幅简化入湖架构。 
支持 Partial-Update 能力，基于相同的主键做到部分数据更新，也可以根据该功能实现各个流实时地打宽。 
支持流入的数据生成变更日志，给下游更好的流计算。简化流计算链路。 
Paimon 作为湖存储格式，有很强的 Append 处理，并给 Append 表上多了流读流写Z-Order排序后加速查询的能力。

优点

1. 统一的批处理和流处理

2. 作为数据湖存储系统，Paimon具有低成本、高可靠性、可扩展的元数据等特性

3. 丰富的合并引擎

4. 自动生成变更日志

5. 丰富的表类型

6. 支持表结构变更同步(也可以称为Schema模式演变)

7. 提供流读增强，tag视图，数据打宽等多种能力