Tapdata 和 Databend 数仓数据同步实战
作者：韩山杰
https://github.com/hantmac
Databend Cloud 研发工程师
基础架构在云计算时代也发生着翻天地覆的变化，对于业务的支持变成了如何能利用好云资源实现降本增效，同时更好的支撑业务也成为新时代技术人员的挑战。 本篇文章通过：借助 Tapdata Cloud 实现从阿里云 RDS 到云原生数仓 Databend 的数据同步，给大家展示一下 Tapdata Cloud 和 Databend cloud 在数仓领域的实践。
Tapdata Cloud 是由 Tapdata 提供的集数据复制、数据开发为一体的实时数据服务，能够在跨云、跨地域、多类型数据源的场景下，提供毫秒级的实时数据同步服务和数据融合服务。
Databend 是基于 Rust 开发的一个开源、弹性、负载感知的现代云数仓，赋能企业降本增效。在之前的文章中介绍了如何快速部署 Databend。Databend Cloud 是基于 Databend 实现的云上大数据解决方案。
体验 Tapdata 到 Databend Cloud 数据迁移
部署架构如下
数据源上部署 Tapdata Agent
Tapdata Agent 从 Tapdata Cloud 上获取任务执行
apdata Agent 获取的数据写入 Databend Cloud
具体操作如下：
1.1 部署 Tapdate Agent
Tapdata Agent 是数据同步、数据异构、数据开发场景中的关键程序。以上场景对数据的流转有着极高的实时性要求，因此，通过下载Tapdata Agent并将其部署在你的本地环境，基于低延迟的本地网络，Tapdata Agent能够发挥最佳性能以确保数据流转的实时性。
可以参考 Agent下载及安装 。
1.2 数据同步 （From MySQL to Databend ）
这里假设用户已经创建阿里云 MySQL RDS并在 RDS 中存储了一定量的数据，准备把数据同步到 Databend。
1.2.1 创建 MySQL 连接
在 Tapdata Cloud 中创建 MySQL 连接，
填写相应的连接参数，连接测试通过后保存。
1.2.2 创建 Databend 连接
在 Beta 数据源中选择 Databend 连接并填写相关连接参数，测试通过后保存。
1.2.3 创建数据复制任务
将 MySQL RDS 数据源和 Databend 数据源拖到画布中连接起来，表示准备从 MySQL 同步数据到 Databend。同步模式选择为 `全量同步`（增量同步的模式正在开发中），启动任务。
开始从 MySQL 同步数据到 Databend，下面展示了同步过程中的信息和数据。
1.2.4 查看结果
首先看一下 MySQL 中的表：
同时我们也可以在 Databend 中查询出已经同步过来的表和数据：
1.3 小结
上面的例子是通过 Tapdata Cloud 跑通一个 MySQL 表以及数据同步到 Databend 。Tapdata非常强大，能够支持多种异构数据源之间的同步，大家可以到 Tapdata Cloud 上继续探索。
Databend 生态介绍
Databend: 是新一代基于对象存储的弹性云数仓产品。 地址： https://github.com/datafuselabs/databend
OpenDAL ：是 Databend 中负责和底层存储打交道的一个组件，目前被 Rust 多数据库产品及 Rust sccache 中大量使用，估计不远的将来会成为一个多云对象存储支持最好的产品。地址： https://github.com/datafuselabs/opendal
Openraft： 是 Databend 中负责 Databend Meta 中的集群组件，目前被 SAP 及 许多交易所使用。地址： https://github.com/datafuselabs/openraft
Databend k8s operator ： Databend 开源了 helm 基于 k8s 部署的 operator。 地址：https://github.com/datafuselabs/helm-charts
文档网站： https://databend.rs/
Databend Cloud： Databend Cloud 是基于 Databend 实现的云 SAAS 的数仓项目，希望把底层的运维及生态全部封状好，对用户提供一站式 SAAS 数仓服务。目前 Databend Cloud 分为： 海外和国内两个版本。 海外版本主要部署在 AWS上，地址： https://databend.com， 国内版本主要部署在阿里云和国内 AWS 上： https://databend.cn , 使用 Databend Cloud 的优势：
基于 Databend 提供云上一站式数仓服务，有相应的安全和降本最佳实践
基于 Databend 存储使用 Parquet 格式，同时支持update, delete, alter table 操作，简化数据维护和 ETL 过程
基于 Databend Cloud 可以打造内部的数据集市
使用 Databend 的场景及优势
目前适用场景：
海量日志存储及分析
部分 ES 场景
订单及商品销售情况分析
数据审计场景
使用 Databend 的优势：
基于 Rust + 对象存储 及 k8s 架构，真正实现了存算分离
基于对象存储成本及 Databend 的压缩技术，使存储有 10 倍左右的优化，同时也可以让存储实现按需付费
计算节点无状态，可以让计算实现按需扩缩容