DataWorks 离线同步数据至 Kafka 实操

背景

众所周知，DataWorks 是阿里云开源数据同步工具 DataX 的商业版，其功能、客户支持、可视化操作和插件丰富度等方面均优于开源版本。接下来，我们通过一个实际案例来说明它的应用场景。

公司需要将数据从数据仓库同步到线上数据库，以便部署服务。然而，直接将数据同步到线上数据库存在风险，特别是在数据量很大的情况下，会对数据库造成压力。因此，我们决定将数据写入 Kafka。开发人员可以从 Kafka 中读取数据，这样可以避免直接操作线上数据库。此外，Kafka 的削峰填谷、异步通信、高吞吐、高可用和高容错等特性，完全满足线上服务的需求。

step1

首先我们需要先创建一个 Topic ，可以在阿里云控制台中可视化操作，具体如下：


创建好之后，点击 odps2kafka_test 进入 detail page ，可以看到状态、 Group 、消息总