当前位置: 首页 > news >正文

Airbyte入门

Airbyte 后端技术栈

Java 17

框架:Jersey

API: OAS3

数据库:PostgreSQL

单元和E2E测试:JUnit 5

编排:Temporal

连接器技术栈

连接器可以用任何语言编写。但是,最常见的语言是:

Python3.9.0

Java 17

前端技术栈

Node.js 16

TypeScript

Web 框架/库:React

部署

部署Airbyte开源只需要两个步骤。

在您的工作站上安装 Docker。确保您使用的是最新版本的 .docker-compose

在终端中运行以下命令:

git clone https://github.com/airbytehq/airbyte.git

cd airbyte

docker compose up

一旦您看到Airbyte横幅,就可以在浏览器输入 http://localhost:8000 访问Airbyte了!系统将要求您输入用户名和密码,默认用户名和密码是 airbyte 和password,部署到服务器后,请务必在.env文件中更改默认用户和密码

内部数据库

Airbyte 使用Postgres来存储内部状态和元数据。此数据由各种 Airbyte 组件存储和操作,但您可以通过以下两种方式管理此数据库的部署:

使用 Airbyte Docker 服务的默认 Postgres 数据库:。docker-compose.ymlairbyte/db

通过专用的自定义 Postgres 实例。在Docker或Kubernetes上部署关键任务数据库不是一个好的做法。 使用专用实例将为您的 Airbyte 部署提供更高的可靠性。 此外,使用云托管的 Postgres 实例(例如 AWS RDS 我们的 GCP 云 SQL),您将受益于自动备份和细粒度大小调整。您可以从一个非常小的实例开始,但根据您的 Airbyte 使用情况,如果不截断作业历史记录,作业数据库可能会增长并需要更多存储空间。airbyte/dbdocker-compose.yml

各种实体持久保存在两个内部数据库中:

作业数据库

有关 Airbyte 作业和各种运行时元数据执行的数据。

有关 Airbyte 使用的内部业务流程协调程序的数据,http://Temporal.io(任务、工作流数据、事件和可见性数据)。

配置数据库

连接器、同步连接和各种 Airbyte 配置对象。

注意:管道传输的实际数据永远不会保留在此内部数据库中

请注意,源(或目标)连接器中的实际数据永远不会传输或保留在此内部数据库中。

http://www.lryc.cn/news/16205.html

相关文章:

  • 研究人员在野外发现大量的信息窃取者 “Stealc “的样本
  • 数据结构——复杂度讲解(2)
  • 【LeetCode】任务调度器 [M](贪心)
  • Spring代理模式——静态代理和动态代理
  • Anaconda和PyCharm的一些安装问题和命令
  • sql优化建议
  • google hacker语句
  • Spring AOP
  • 【消费战略方法论】认识消费者的恒常原理(一):消费者稳态平衡原理
  • python居然能语音控制电脑壁纸切换,只需60行代码
  • 内存泄露定位手段(c语言hook malloc相关方式)
  • STM32 CAN波特率计算
  • C/C++ 中#define 的妙用,让代码更美一些
  • Linux文件系统操作与磁盘管理
  • 【Python】批量采集原神表情包~
  • C语言基本语法注释类型关键字
  • 【C ++】C++入门知识(二)
  • qt qchart学习
  • 手工布署 java 项目
  • 《设计模式》观察者模式
  • 基于SpringBoot的外卖项目(详细开发过程)
  • ChatGPT 研发传言席卷互联网公司,这会是一门好生意吗?
  • 获取servlet转发和响应重定向的方式是什么?
  • jvm知识点
  • MoveIT Noetic控制真实机械臂
  • 如何快速入门编程
  • java的反射Reflect
  • 常用设计模式总结
  • 【算法基础】一维前缀和 + 二维前缀和
  • Kafka消费分组和分区分配策略