当前位置: 首页 > news >正文

一百六十五、Kettle——用海豚调度器调度Linux资源库中的kettle任务脚本(亲测、附流程截图)

一、目的

在Linux上脚本运行kettle的转换任务、无论是Linux本地还是Linux资源库都成功后,接下来就是用海豚调度Linux上kettle任务

尤其是团队开发中,基本都要使用共享资源库,所以我直接使用海豚调度Linux资源库的kettle任务脚本

二、前提条件

(一)海豚调度器和kettle安装在同一台服务器上

(二)kettle的资源库的转换任务脚本在Linux上先跑一遍没问题,说明脚本没问题,这是前提

(三)先开启海豚调度器的服务

1、先开启zookeeper服务

2、再开启海豚调度器服务

3、开启服务后jps查看一下

如图所示,上面5个是海豚服务,下面1个是zookeeper服务 

(四)最好先浏览鄙人拙作:一百六十四、Kettle——Linux上脚本运行kettle的转换任务(Linux本地、Linux资源库)

http://t.csdn.cn/fP4XBicon-default.png?t=N6B9http://t.csdn.cn/fP4XB这篇博文专讲Linux上如何用脚本运行kettle的转换任务

三、实施步骤

(一)启动海豚调度器后创建kettle脚本运行的项目

(二)在kettle项目里,创建工作流

 

 (三)在工作流中,拖拽左侧的SHELL工具栏;然后,输入节点名称、描述以及脚本;最后点击确认添加

 注意:脚本即是Linux中运行的kettle脚本内容

#!/bin/bash
source /etc/profile

/opt/install/kettle9.2/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/mysql_to_hdfs/ -trans=01_MySQL_to_HDFS_t_event_dispose level=Basic >>/home/log/kettle/01_MySQL_to_HDFS_t_event_dispose_`date +%Y%m%d`.log 

(四)SHELL工具配置好后,点击右上方的保存,设置DAG图名称以及租户,点击添加

 (五)工作流先上线,再执行(这里没有设置定时,只演示调度)

 (六)查看工作流实例(结束时间为2023-08-24 14:00:21)

工作流执行成功!

(七) 由于kettle任务是从MySQL到HDFS,所以还可以到Hadoop中验证一下文件

Hadoop中的文件时间是14:00 

(八)由于脚本中的pan语句导出日志到日志文件,因此可以查看日志文件

1、查看14:00的日志文件

2、vi   01_MySQL_to_HDFS_t_event_dispose_20230824.log

 可以看到日志中,kettle的转换任务执行成功!

到这里,用海豚调度Linux资源库中的kettle任务脚本的展示就结束了,至于定时设置那要根据不同的需求而设置,之前已有博客展示过,所以这边就只展示海豚调度kettle任务脚本

乐于奉献共享,帮助你我他!!!

http://www.lryc.cn/news/139301.html

相关文章:

  • xfs ext4 结合lvm 扩容、缩容 —— 筑梦之路
  • 如何修改由 img 标签引入的 svg 图片颜色 (react环境)
  • 归一化的作用,sklearn 安装
  • 半导体企业如何进行跨网数据传输,又能保护核心数据安全?
  • lvs-DR模式:
  • Delphi 开发手持机(android)打印机通用开发流程(举一反三)
  • nodejs替换模版中${}的内容
  • 【快速傅里叶变换(fft)和逆快速傅里叶变换】生成雷达接收到的经过多普勒频移的脉冲雷达信号(Matlab代码实现)
  • 嵌入式学习之linux
  • 自动驾驶合成数据科普一:不做真实数据的“颠覆者”,做“杠杆”
  • 云服务器 宝塔(每次更新)
  • 【学习FreeRTOS】第16章——FreeRTOS事件标志组
  • Echarts 柱状图的 itemStyle的normal中label如何format?
  • 我的笔记:数据体系规则
  • 苍穹外卖 day2 反向代理和负载均衡
  • 【SpringBoot】SpringBoot完整实现电子商务系统
  • RT-Thread 线程管理(学习二)
  • ESP32应用教程(1)— VL53L3CX距离传感器
  • Redis从基础到进阶篇(一)
  • postgresql的基本使用
  • ABC 258 G Triangle(bitset 优化)
  • 使用StreamLold写入 Starrocks报错:Caused by org
  • WX1860- ngbe-1.2.5 xdp程序在路由模式下,使用iperf工具测试数据包不转发,用jmeter可以
  • PHPStudy 安装tp8 php8.2.9 安装XDbug、redis扩展
  • 结构体指针和结构体数组指针
  • libdrm全解析二十 —— 源码全解析(17)
  • 基于docker搭建owncloud Harbor 构建镜像
  • 往Buildroot中增加Qt项目
  • C#-Tolewer和ToUpper的使用
  • RabbitMQ集群搭建和测试总结_亲测