当前位置: 首页 > news >正文

数据库同步中间件DBSyncer安装配置及使用

1、介绍

     DBSyncer(英[dbsɪŋkɜː®],美[dbsɪŋkɜː® 简称dbs)是一款开源的数据同步中间件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。

1.1、特点

  • 组合驱动,自定义库同步到库组合,关系型数据库与非关系型之间组合,任意搭配表同步映射关系
  • 实时监控,驱动全量或增量实时同步运行状态、结果、同步日志和系统日志
  • 开发插件,自定义转化同步逻辑

1.2、项目地址

  • Gitee
  • GitHub

1.3、应用场景

2、安装配置

2.1、环境准备

  • 推荐机器配置:内存8GB,4core,磁盘60GB(建议上好点的SSD)
  • 安装部署JDK,需要安装JDK8
  • 下载 dbsyncer-2.0.4-bin.zip(社区版)

2.2、安装配置

下载:

wget https://gitee.com/ghi/dbsyncer/releases/download/v2.0.4/dbsyncer-2.0.4-bin.zip

解压、启动:

unzip dbsyncer-2.0.4-bin.zip

切换到bin目录下,执行脚本:

./startup.sh

如果是windows环境,直接启动 startup.bat 即可。

看到“Start successfully!”即启动成功

启动后的管理页面可以通过 http://ip:18686进行登录查看,默认管理账号密码为:admin/admin

2.3、数据迁移

2.3.1、准备工作

本次测试的是从Oracle迁移数据至MySQL,因此先在Oracle数据库中创建一张表及测试数据,在MySQL数据库中也创建一张表。

Oracle库:

CREATE  TABLE  test1(id int ,c1 varchar(20))INSERT INTO  test1 values(1,'a');INSERT INTO  test1 values(2,'b');commit;

MySQL库:

CREATE TABLE  test1(id INT PRIMARY KEY ,c1 VARCHAR(20));

2.3.2、配置数据源

配置一个名为oracle1的数据源,对应填写连接信息、账号密码等,完成后保存即可。

如果保存时不报错,则说明连接添加成功,如果保存过程中有错误,则按照错误信息进行解决。

再配置一个MySQL数据源作为目标库,MySQL的连接URL里要注意库名的配置。

保存后即可在界面上看到对应的数据源。

2.3.3、配置迁移任务

这个版本点击“添加驱动”进行数据迁移任务的配置(建议修改名称,以免有误解)。

先选择源目数据源,并设置一个任务名称。

保存后进行相关表影射等配置,例如选择表名及目标表,对应的主键名等。

在高级配置中还可以进行其他的转换配置等。

任务配置完成后,可以在页面上看到同步列表。

2.3.4、启动任务

点击右上角的启动按钮即可启动本任务。

启动后会显示”运行中“的状态。

完成后会显示进度、耗时及成功数量。

去目标库中查看结果,可以发现数据已同步进MySQL,至此本次数据迁移完成。

2.4、小结

       根据DBSyncer官方介绍,社区版的效率确实相对于专业版迁移效率差别很大,大家可以下载测试一下。另外,也可以配置大字段、大表,不同数据库的兼容配置、增量同步等进行更个方面的测试。

http://www.lryc.cn/news/502900.html

相关文章:

  • 虚幻5描边轮廓材质
  • ISP帳戶會記錄什麼資訊?
  • Facebook如何避免因IP变动而封号?实用指南
  • EXCEL数据清洗的几个功能总结备忘
  • web网页连接MQTT,显示数据与下发控制命令
  • 数据结构day3作业
  • Android SDK 平台工具版本说明
  • Sharding-jdbc基本使用步骤以及执行原理剖析
  • mysql重置root密码(适用于5.7和8.0)
  • Linux下SVN客户端保存账号密码
  • centos7.9 gcc升级到11.2.1
  • HQChart使用教程30-K线图如何对接第3方数据42-DRAWTEXTREL,DRAWTEXTABS数据结构
  • 数仓高频面试 | 数仓为什么要分层
  • 网络安全—部署CA证书服务器
  • MATLAB中circshift函数的原理分析——psf2otf函数的核心
  • js 惰性函数
  • 智能技术引领未来:自动图像标注的创新应用与发展
  • 深入探索数据库世界:SQLite、Redis、MySQL 与数据库设计范式
  • 内网是如何访问到互联网的(华为源NAT)
  • 华为无线AC、AP模式与上线解析(Huawei Wireless AC, AP Mode and Online Analysis)
  • 奖励模池化
  • 基于django协同过滤的音乐推荐系统的设计与实现
  • Tiptap,: 富文本编辑器入门与案例分析
  • 使用Linux的logrotate工具切割日志:Tomcat、NGINX(journal文件清理)
  • CSS系列(11)-- 滤镜与混合模式详解
  • linux - 存储管理
  • 在 Kibana 中为 Vega Sankey 可视化添加过滤功能
  • styled-components 库的用法介绍和实践总结
  • SSE(Server-Sent Events)主动推送消息
  • pandas.core.frame.DataFrame怎么进行对象内容的读写