当前位置: 首页 > news >正文

基于K8S环境部署Dolphinscheduler及简单应用

一、Dolphinscheduler简介

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。

Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂,无法监控任务健康状态的问题。 DolphinSchedulerDAG(Directed Acyclic Graph,DAG)流式方式组装任务,可以及时监控任务的执行状态,支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。

在这里插入图片描述

二、本章目标

  • 基于K8S环境完成Dolphinscheduler部署
  • 使用本地文件存储而非 HDFSS3
  • 基于K8S环境Dolphinscheduler简单应用(支持Python3MySQL数据源及工作流编排)

三、前提条件

  • 具备 Kubernetes 1.12+ 集群(
http://www.lryc.cn/news/124384.html

相关文章:

  • Linux的ln命令
  • 深入了解Bear Necessities Hackathon黑客松的优胜者们
  • mysql-tokudb使用qa
  • 对比学习论文综述总结
  • 【BASH】回顾与知识点梳理(二十三)
  • 用 Python 写一个 NoSQL 数据库
  • Spring Security自定义登陆界面和密码验证逻辑
  • Android布局【LinearLayout】
  • 搭建grafana+loki+promtail日志收集系统
  • Electron+vue3项目使用SQLite3数据库
  • SpringSpringBoot常用注解
  • 题目:2566.替换一个数字后的最大差值
  • 使用 NLP 进行文本摘要
  • vue3挂载全局方法和组件
  • mybatisplus学习笔记
  • go mod 添加私有库GOPRIVATE
  • 07-HDFS入门及shell命令
  • TiDB在科捷物流神州金库核心系统的应用与实践
  • React 18 更新 state 中的数组
  • 【css】css中使用变量var
  • 判断自己网络所在的NAT类型
  • ClickHouse(十九):Clickhouse SQL DDL操作-1
  • 小程序保留2位小数据,不四舍五入
  • 【linux-nginx】nginx限流以及控制访问方法
  • 菜单和内容滚动的联动原理及代码
  • Python爬虫:单线程、多线程、多进程
  • 超强的Everything,吊打系统自带文件搜索功能!
  • flink配置参数
  • 学习Vue:安装Vue.js和设置开发环境
  • 代理技术在网络安全、爬虫和数据隐私中的多重应用