〔从零搭建〕数据湖平台部署指南
🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。
✨杭州奥零数据科技官网：http://www.aolingdata.com
✨AllData开源项目：https://github.com/alldatacenter/alldata
✨Gitee组织：https://gitee.com/alldatacenter
摘要：数据湖平台基于开源项目Paimon建设。它融合了Lake格式与LSM结构，支持实时数据同步至数据湖，具备批流一体处理能力，降低数据处理复杂性和成本，还注重生态集成，提供统一数据存储和访问接口。内容主要为以下六部分:
一、在线演示环境
二、功能简介
三、源码编译部署安装
四、访问数据湖平台页面
五、部署后验证与监控
六、常见问题与解决方案
💡Tips:关注「公众号」大数据商业驱动引擎
🔹AllData数据中台线上正式环境：http://43.138.156.44:5173/ui_moat/
请联系市场总监获取账号密码
2.1 数据湖平台基于开源项目Paimon建设
数据湖平台支持使用Flink和Spark构建实时Lakehouse架构，实现流式和批处理操作。它融合了Lake格式与LSM结构，支持实时数据同步至数据湖，具备批流一体处理能力，降低数据处理复杂性和成本，还注重生态集成，提供统一数据存储和访问接口。
🔹Paimon开源项目：
https://github.com/apache/paimon-web
🔹Paimon文档地址：https://paimon.apache.org/docs/1.0/concepts/overview/
2.2 数据湖平台功能特点
- 实时数据同步与处理
- 高效存储与查询性能
- 灵活的编程模型与SQL支持
- 多种运行模式
- 强大的生态集成能力
- 数据湖能力
- 状态管理与容错机制
- 并发控制与冲突处理
（引用官网paimon图片）
💡部署步骤：
3.1 环境准备
🔹操作系统要求：
推荐使用Linux发行版（如Ubuntu/CentOS），因为大多数大数据技术和分布式系统都针对Unix-like系统进行了优化。
🔹Java环境：
版本：使用JDK 8
配置：设置JAVA_HOME环境变量，验证命令java -version输出正确。
🔹Hadoop/Hive(如需与现有生态集成）：
版本：Hadoop 3.x、Hive 3.x，需配置core-site.xml和hdfs-site.xml。
权限：确保运行Paimon的用户有HDFS读写权限。
🔹数据库（元数据存储）：
MySQL 8.0+：创建专用数据库paimon_metadata，字符集设为utf8mb4。
连接池配置：建议使用HikariCP，最大连接数设为2 * CPU核心数。
🔹其他依赖：
根据项目需求，可能还需要安装Python解释器及其他基础软件包。
3.2 获取源码
🔹版本选择：建议使用与AllData商业版兼容的Paimon版本。
3.3 编译构建
🔹安装依赖–进入项目目录后，使用Maven安装项目依赖，执行命令mvn clean install，确保所有依赖项正确下载和安装，为编译构建做好准备。
🔹基础编译–参数说明：-DskipTests跳过测试（生产环境建议运行测试），-Dmaven.javadoc.skip=true加速编译。
🔹构建产物–生成target/paimon--bin.tar.gz，解压后包含bin、conf、lib等目录。
🔹常见问题：
依赖下载失败：检查网络代理设置，或手动下载依赖后安装到本地仓库。
编译报错：检查JDK版本、Maven版本是否匹配，或清理缓存后重试（mvn clean）。
3.4 部署及运行配置
🔹核心配置文件：
- conf/paimon-site.xml
- conf/log4j2.xm
配置日志级别和滚动策略（建议按天分割，保留7天日志）。
🔹数据库连接：
在conf/paimon-env.sh中配置JDBC URL
🔹启动服务--单机模式（测试环境）：
🔹集群模式（生产环境）–使用Kubernetes部署：
修改k8s/deployment.yaml，设置副本数、资源限制（如requests.cpu: 2，limits.memory: 8Gi）。
应用配置：kubectl apply -f k8s/。
🔹验证服务：
访问Web UI（默认端口8080），检查表创建、数据写入是否正常。
使用CLI工具验证：
3.5 可选配置（性能调优与扩展）
🔹分区策略：
按时间分区（如dt字段）
按范围分区（如id字段）
🔹索引优化：
启用Bloom Filter：
3.6 资源调度与负载均衡
🔹Kubernetes配置:
配置HPA（Horizontal Pod Autoscaler）：
配置Node Affinity：将Paimon工作节点绑定到特定标签的节点（如disk-type=ssd）。
3.7 安全与合规
🔹数据加密:
启用S3服务器端加密（SSE-S3或SSE-KMS）。
配置传输加密：在paimon-site.xml中设置：
🔹审计日志:
启用Fine-Grained Access Control（FGAC），记录所有DDL/DML操作。
配置Log4j2将审计日志发送到ELK或Splunk。
🔹资源调度与负载均衡:
添加数据节点：
在管理控制台中，可进行添加数据节点的操作，包括基础配置，如项目分组、可用性校验等。例如配置MySQL节点，需要填写连接信息等。
策略配置：
可对数据节点进行策略配置，如修改数据节点、激活数据节点、挂起数据节点、删除数据节点以及查看节点日志等。
🔹Paimon数据节点特定配置:
连接配置：
新建弹窗界面选择Paimon节点类型后，显示基本信息配置模板，包括名称（必须填写，50字符限制，是该数据源在DataPipeline的唯一标识，不允许重复）、描述（选填）、项目（必选，默认为“未分组”）、类型（必选）、版本（必选）等。
HDFS配置：
必填，需上传core-site.xml、hdfs-site.xml文件。
数据库配置：
必选，当选择用户权限所有库时，在链路和任务中可以使用连接用户有权限的所有数据库；当指定数据库后，在链路和任务中仅能使用指定的数据库，这里的数据库本质上是一个路径，示例：/hdfs/paimon/test.db。
认证方式：
必选，支持信任认证和Kerberos认证。
连接参数：
输入Paimon JAVA CLIENT连接支持的所有连接参数。
4.1 数据湖平台-功能概览
4.2 数据湖查询中心
4.3 数据湖元数据管理
4.4 增量同步中心
4.5 创建同步作业
4.6 创建同步作业-编辑（MySQL-Paimon）
4.7 创建同步作业-编辑（Kafka-Paimon)
4.8 创建同步作业-编辑（MongoDB-Paimon)
4.9 创建同步作业-编辑（PostgreSQL-Paimon)
4.10 提交CDC作业
4.11 数据湖集群管理
4.12 新增集群
4.13 更新集群
4.14 集群状态检查成功
5.1 验证步骤
🔹功能验证：
- 创建表、写入数据、查询数据，验证结果是否符合预期。
- 测试并发写入（如100个线程同时写入），检查吞吐量和延迟。
🔹性能测试：
- 使用TPC-DS或自定义测试集，评估查询性能。
- 对比不同分区策略和索引配置下的性能差异。
5.2 监控与告警
🔹关键指标：
-
集群健康：paimon_catalog_table_count、paimon_file_store_file_count。
-
性能指标：paimon_query_latency_ms、paimon_write_throughput_rows_per_sec。
🔹告警规则：
- 元数据存储延迟 > 1分钟：触发告警。
- 查询失败率 > 5%：触发告警。
