当前位置: 首页 > news >正文

【Azure 架构师学习笔记】-Azure Data Factory (4)-触发器详解-事件触发器

本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Data Factory】系列。
接上文【Azure 架构师学习笔记】-Azure Data Factory (3)-触发器详解-翻转窗口

前言

事件触发指的是存储事件,所以在新版的ADF 中,已经明确了是“存储事件”, 当对blob进行创建,删除时,就会触发事件。和“翻转窗口”有点不同的是,翻转窗口是一对一的触发,事件触发时多对多的关系,一个事件可以触发多个pipeline。

事件可以只选一个,也可以全选两个。本文使用【已创建Blob】来演示,简单来说就是上传一个文件(blob), 使触发器触发这个事件,并把文件从我个人storage account的“logicapp / source” 下搬到“dest / dest”。

配置步骤

新建触发器

如下图所示, 可以指定Blob路径的开头或结尾,作为演示,尽量保持简单。注意选择需要监控的“容器名”, 这里为“logicapp”:
在这里插入图片描述
选择之后会显示下面的预览,不过接下来会清空这个容器以便更准确地演示:

在这里插入图片描述

点击发布pipeline之后,我发现报了以下错误,如果首次使用,因为没有注册这个resource provider(事件触发器需要EventGrid resource provider),就要进行注册,参考这篇文字:Subscribe to events through portal
在这里插入图片描述
注册过后,可以正常发布。到管理页检查这个触发器是否成功创建并启用:

在这里插入图片描述

触发

因为这里选择了对新建(上传)的blob进行触发,下面是触发前源和目标的情况:

在这里插入图片描述
上传一个文件之后,再等十几秒刷新,可以看到文件已经自动同步到目标文件夹:

在这里插入图片描述

检查运行情况

在达到我们目的之后,接下来检查运行情况:
在这里插入图片描述

忽略前几次调试带来的失败,可以看到触发器和pipeline都成功执行,达到了我们预期的结果。
在这里插入图片描述

小结

事件触发对文件的ETL 操作非常有用,可以通过对“新文件到达”或者“文件被删除、归档”等需求进行自动化处理。下面是官网中的操作流程图:

在这里插入图片描述
对于另外一个自定义事件触发,相对深入,暂时不过多研究,因为目前本人又有新任务需要去做研究,所以关于ADF 的触发前先到处为止。

http://www.lryc.cn/news/24355.html

相关文章:

  • 【项目设计】高并发内存池(三)[CentralCache的实现]
  • 2023年,35岁测试工程师只能被“优化裁员”吗?肯定不是····
  • gitlab部署使用,jenkins部署使用
  • 从零开始的机械臂yolov5抓取gazebo仿真(环境搭建篇下)
  • GCC编译器 MinGW的下载安装使用教程
  • 【项目实战】SpringMVC配置全局属性,是实现WebMvcConfigurer接口,还是直接继承WebMvcConfigurationSupport类?
  • 房产营销、地产中介如何高效低成本获客?
  • Kotlin-作用域函数
  • QNX7.1 交叉编译开源库
  • 论文投稿指南——中文核心期刊推荐(外国语言)
  • Fabric系列 - 链码-内部链码的特性
  • NetApp SnapCenter 备份管理 ——借助应用程序一致的数据备份管理,简化混合云操作
  • Java内置队列和高性能队列Disruptor
  • 比特数据结构与算法(第四章_下)二叉树的遍历
  • chatGPT是什么
  • jenkins漏洞集合
  • 用canvas画一个炫酷的粒子动画倒计时
  • Java技术学习——Maven相关知识
  • C++ 认识和了解C++
  • u盘误删的文件怎么找回
  • 二分查找由浅入深--算法--java
  • 【学习】笔记本电脑重新安装系统win10
  • RocketMQ的一些使用理解
  • Java枚举详解
  • 虚拟机上安装openKylin详细步骤总结
  • 夜天之书 #74 企业开源的软件协议模型实践(Part 2)
  • 2.webpack实时打包
  • KingbaseES V8R3 表加密
  • 2 为社么软件架构很重要?
  • Python 之 Pandas merge() 函数、set_index() 函数、drop_duplicates() 函数和 tolist() 函数