当前位置: 首页 > news >正文

Otter改造 增加springboot模块和HTTP调用功能

环境搭建 & 打包

环境搭建:

  1. 进入 $otter_home/lib 目录
  2. 执行:bash install.sh

打包:

  1. 进入$otter_home目录
  2. 执行:mvn clean install -Dmaven.test.skip -Denv=release
  3. 发布包位置:$otter_home/target

项目背景

   阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品。

   otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otter4。

目前同步规模:

  1. 同步数据量6亿
  2. 文件同步1.5TB(2000w张图片)
  3. 涉及200+个数据库实例之间的同步
  4. 80+台机器的集群规模

项目介绍

名称:otter ['ɒtə(r)]

译意: 水獭,数据搬运工

语言: 纯java开发

定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统

项目改造

基于Otter master分支最新提交,增加springboot client工程,目标是为公司内springboot项目通过HTTP调用或者Dubbo调用操作Otter manager,实现任务创建和启动停止等

改造内容:

  1. 新增springboot client工程
  2. jdk版本升级为1.8
  3. 使用springboot 2.3.2.RELEASE,大家可通过RESTful接口调用 Otter manager模块

打包:

  1. 进入$otter_home目录
  2. 执行:mvn clean install -Dmaven.test.skip -Denv=release
  3. 发布包位置:$otter_home/target

部署Otter manager:

  1. 按照官方文档部署Otter的manager和node,https://github.com/alibaba/otter/wiki/QuickStart

解压:

  1. 进入$otter_home/target目录
  2. 执行:mkdir client && tar -xf client.deployer-4.2.19-SNAPSHOT.tar.gz -C client
  3. 启动脚本位置:$otter_home/target/client/bin/start.sh
  4. 修改manager端口:$otter_home/target/client/conf/application.yml,默认是 127.0.0.1:1099,请改成你部署的Otter manager地址

启动 springboot client:

  1. 进入$otter_home/target/client目录
  2. 启动脚本位置:bin/startup.sh
  3. 执行启动脚本:sh bin/startup.sh
  4. 测试调用:在命令行窗口输入curl --location 'http://localhost:8100/nodetest/node/1' 或者 浏览器地址栏输入 http://localhost:8100/nodetest/node/1,
    返回 node 节点的信息表示成功:
    Node[id=1,name=test-node1,ip=127.0.0.1,port=2088,status=START,description=,parameters=NodeParameter[mbeanPort=2090,downloadPort=2089,zkCluster=AutoKeeperCluster[id=1,clusterName=test-zk,serverList=[10.23.104.43:2181],description=,gmtCreate=2023-07-29 14:55:06,gmtModified=2023-08-23 19:48:22],externalIp=127.0.0.1,useExternalIp=false],gmtCreate=2023-07-29 14:56:14,gmtModified=2023-08-01 10:51:56]
  5. 执行关闭脚本停止client:sh bin/stop.sh
    Oook! cost:2

改造代码已经开源到个人github,注意是 feature- springboot分支:https://github.com/quanllong/otter/tree/feature-springboot

http://www.lryc.cn/news/173639.html

相关文章:

  • Vue.js vs React:哪一个更适合你的项目?
  • Debian环境下搭建STM32开发环境
  • 如何防止商业秘密泄露(洞察眼MIT系统商业机密防泄密解决方案)
  • 题目 1062: 二级C语言-公约公倍
  • 【Leetcode】148.排序链表
  • 用《斗破苍穹》的视角打开C#多线程开发1(斗帝之路)
  • 图像处理与计算机视觉--第三章-颜色与纹理分析-6问
  • vue重修002
  • [PowerQuery] PowerAutoMate 刷新PowerBI 数据
  • C语言中各种接口标准
  • vscode常用插件
  • 代码随想录算法训练营day60|84.柱状图中最大的矩形 |完结撒花~
  • 在 android 上使用 adb client
  • 竞赛选题 基于深度学习的视频多目标跟踪实现
  • 分布式应用之监控平台zabbix的认识与搭建
  • C语言大佬的必杀技---宏的高级用法
  • @Retryable和Guava retry
  • conda的安装和使用
  • K8S:pod集群调度及相关操作
  • 阿里云便宜服务器2核2G配置经济型e实例一年182元性能测评
  • 资讯| 工信部拟筹建元宇宙标准化工作组;《权游》作者起诉OpenAI
  • Win10安装Docker Desktop并运行Tutorial示例
  • 1、靶机——Pinkys-Place v3(1)
  • 【AIGC】Stable Diffusion Prompt 每日一练0916
  • 【C语言】指针经典笔试题(上)
  • 缓存问题解决方案
  • 数据结构————寻路算法
  • 蓝桥杯 题库 简单 每日十题 day7
  • go -- 获取当前24点的时间戳 --chatGpt
  • docker 容器内手动设置服务自启动