当前位置: 首页 > news >正文

大数据Azkaban(二):Azkaban简单介绍

文章目录

Azkaban简单介绍

一、Azkaban特点

二、Azkaban组成结构

三、Azkaban部署模式

1、solo-server ode(独立服务器模式)

2、two server mode(双服务器模式)

3、distributed multiple-executor mode(分布式多执行器模式)


Azkaban简单介绍

一、Azkaban特点

Azkaban通过作业的依赖性解决业务调度顺序,并提供易于使用的UI界面来维护和跟踪工作流程,其主要特点如下:

  1. 兼容任何版本的Hadoop;
  2. 易于使用的Web UI界面;
  3. 简单的Web和Http工作流上传;
  4. 支持工作流定时调度;
  5. 支持模块化和可插入; 
  6. 支持身份验证和授权; 
  7. 支持用户操作跟踪;
  8. 提供有关失败和成功的电子邮件提醒;
  9. 提供SLA警报和自动查杀功能。

 

二、Azkaban组成结构

Azkaban工作流管理器由三个核心部分组成,分别是Relational Database(关系型数据库MySQL)、AzkabanWebServer(Web服务器)、AzkabanExecutorServer(执行服务器)。三者关系具体如图所示。

 

三、Azkaban部署模式

1、solo-server ode(独立服务器模式)

在独立服务器模式下,使用的数据库是内嵌的H2,并且web server和executor server都在同一进程中运行,通常适用于小规模测试阶段。

2、two server mode(双服务器模式)

双服务器模式适用于比较复杂的生产环境,它的数据库会由具有主从设置的MySQL实例提供支持。其中,Web服务器和执行服务器应在不同的进程中运行,以便升级和维护过程中不影响用户。

 

3、distributed multiple-executor mode(分布式多执行器模式)

分布式多执行器模式适用于特别复杂的生产环境,理想情况下,Web服务器和执行服务器应在不同的主机中运行,以便升级和维护不影响用户。这种分布式多主机设置的模式为Azkaban带来了强大且可扩展的性能。


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨
http://www.lryc.cn/news/471156.html

相关文章:

  • Vue3_开启全局websocket
  • PTA 社交集群
  • USB Type-C 受电端取电快充协议芯片,支持PD+QC+FCP+SCP+AFC快充协议
  • C++ 模板专题 - 参数约束
  • 电商行业 | 用好企业培训工具,打造精英团队!
  • python进阶集锦
  • 8.C++小练习
  • 实现YOLO V3数据加载器:从文件系统读取图像与标签
  • 安装pygod
  • 探索Python与Excel的无缝对接:xlwings库的神秘面纱
  • CISE|暴雨受邀出席第二十六届中国国际软件博览会
  • OpenEuler22.03-sp2下安装docker-非常实用
  • 【学术会议论文投稿】前端框架巅峰对决:React、Vue与Angular的全面解析与实战指南
  • [0152].第3节:IDEA中工程与模块
  • 【modbus协议】libmodbus库移植基于linux平台
  • SpringBoot+Minio实现多文件下载和批量下载
  • 3.swoole安装【Docker】
  • React 探秘(三): 时间切片
  • OSError: Can‘t load tokenizer for ‘bert-base-uncased‘.
  • 中国人寿财险青岛市分公司:专业团队,卓越服务
  • 【SpringCloud】基础问题
  • 牛客网刷题(1)(java之数据类型、数组的创建(静态/动态初始化)、static关键字与静态属性和方法、常用的servlet包、面向对象程序设计方法优点)
  • 电磁干扰(EMI)与电磁兼容性(EMC)【小登培训】
  • 保险行业的智能客服:企业AI助理与知识库的加速效应
  • PSINS工具箱函数介绍——inserrplot
  • 龙蟠科技业绩压力显著:资产负债率持续攀升,产能利用率也不乐观
  • 使用 Spring Cloud 有什么优势?
  • MySQL 日志之 binlog 格式 → 关于 MySQL 默认隔离级别的探讨
  • SQL进阶技巧:Hive如何进行更新和删除操作?
  • nginx安装详解含 自动化编译安装 Debian/Ubuntu/CentOS/RHEL/ROCKY