当前位置: 首页 > news >正文

kettle从入门到精通 第101课 ETL之kettle DolphinScheduler调度kettle

1、下载DolphinScheduler

DolphinScheduler官网下载安装包,选择合适的版本进行下载,地址为

https://dolphinscheduler.apache.org/zh-cn/docs/3.1.9/guide/installation/standalone

 2、启动 DolphinScheduler Standalone Server

我这里仅仅为了测试使用,启动的是Standalone模式且数据库是H2。注意重启服务后数据会清空。

命令如下:

# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

 3、登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。默认的用户名和密码是 admin/dolphinscheduler123

 4、租户配置

海豚调度中的租户必须是操作系统的用户,不能随意填写,否则执行工作流时会失败。

 5、用户配置租户

admin用户默认是没有租户的,点击编辑按钮关联我们设置的租户。

 6、创建项目

海豚调度顶层资源隔离是项目,我们这里创建一个项目,名称为Java小金刚测试项目。

 7、创建工作流

点击项目名称即可创建工作流,一个项目有多个工作流。

我这里演示的是使用http调用kettle中的job,job名字为test.kjb,主要设置参数有Authorization、Content-Type、rep、job、level。

 点击保存,然后关联我们之前创建的租户。此时工作流默认状态为下线是无法运行的,点击红色按钮即可上线&运行。

8、查看运行记录

点击任务实例可以查看运行的记录,状态为成功。

 点击2查看详细的运行日志

 查看carte日志,也是运行成功

 写在最后

海豚调度支持quarzt cron方式,使用的时候可以自己摸索下。

另外在使用shell方式调度kettle的时候,提示jdk路径错误,有可能因为我使用电脑我mac的原因,有使用shell方式调度的欢迎评论区留言。

+0000 - -> /opt/java/openjdk
/Users/xxx/Documents/kettle/pdi/pdi-ce-9.3.0.0-428/data-integration/spoon.sh: line 278: /opt/java/openjdk/bin/java: No such file or directory

http://www.lryc.cn/news/586377.html

相关文章:

  • 亚矩阵云手机:重构物流供应链,让跨境包裹“飞”得更快更准
  • 配置驱动开发:初探零代码构建嵌入式软件配置工具
  • ESP32使用freertos更新lvgl控件内容
  • TDengine 使用最佳实践(1)
  • Cell2location maps fine-grained cell types in spatial transcriptomics 文章解析
  • 全局唯一id生成
  • JavaScript加强篇——第七章 浏览器对象与存储要点
  • 深度学习-卷积化
  • 深入详解:决策树在医学影像领域心脏疾病诊断的应用及实现细节
  • Vue框架之钩子函数详解
  • ngrok使用
  • 企业商业秘密保卫战:经营信息类案件维权全攻略
  • 第三章第三节 GPIO 输入
  • Unity开发中常用的洗牌算法
  • 程序改错---字符串
  • 【离线数仓项目】——电商域DIM层开发实战
  • [特殊字符] 实时数据洪流突围战:Flink+Paimon实现毫秒级分析的架构革命(附压测报告)——日均百亿级数据处理成本降低60%的工业级方案
  • Spring Boot 2.4+中bootstrap.yml加载顺序的源码深度解析
  • 北京高铁3h可达城市周末游攻略
  • 堆内存的详细结构以及java中内存溢出和排查方式
  • 大模型量化相关
  • 钉钉企业应用开发实战:从零构建组织级业务工具
  • cuDNN 的 IMPLICIT_GEMM 算法
  • bp使用爆破模块破解pikachu的登陆密码
  • C++11之emplace
  • 【C++】封装红黑树模拟实现set和map
  • 支付宝购买功能的使用
  • EPLAN 电气制图(七):电缆设计全攻略
  • 从0设计一个短链接服务:如何实现尽可能短、可变长的短网址系统?
  • NLP:RNN文本生成案例分享