当前位置: 首页 > news >正文

Flink类加载机制详解

1. 总览

在运行Flink应用时,它会加载各种类,另外我们用户代码也会引入依赖,由于他们依赖版本以及加载顺序等不同,就可能会导致冲突,所以很要必要了解Flink是如何加载类的。

根据加载的来源的不同,我们可以将类分为三种:

  • Java Classpath:Java类路径下,这是Java通用的类路径,包含JDK库和Flink的/lib文件夹中的所有代码(Flink的Apache类和一些依赖)。它们由AppClassLoader加载。
  • Flink Plugin Components:Flink插件组件,插件代码存放在Flink的/plugins文件夹中。Flink的插件机制将在启动时动态加载它们一次。
  • Dynamic User Code:动态用户代码,这些类都包含在动态提交的作业的JAR文件中(通过REST、CLI、web UI)。每个作业由FlinkUserCodeClassLoader动态加载(和卸载)。

根据不同的应用部署模式,类加载过程是不同的。

一般来说,只要先启动Flink进程,再提交作业,作业的类就会动态加载。如果Flink进程与作业/应用(job/application)一起启动,或者应用生成Flink组件(JobManager、Tas

http://www.lryc.cn/news/520680.html

相关文章:

  • ClickHouse大数据准实时更新
  • 计算机网络之---端口与套接字
  • UE5中制作地形材质
  • 【Docker】docker compose 安装 Redis Stack
  • pytest 常用插件
  • 浅谈云计算05 | 云存储等级及其接口工作原理
  • linux:文件的创建/删除/复制/移动/查看/查找/权限/类型/压缩/打包,文本处理sed,awk
  • CentOS 8 如何安装java与mysql
  • Go语言之路————go基本语法、数据类型、变量、常量、输出
  • 音视频入门基础:MPEG2-PS专题(7)——通过FFprobe显示PS流每个packet的信息
  • Docker安装和卸载(centos)
  • YOLOv8从菜鸟到精通(二):YOLOv8数据标注以及模型训练
  • Winforms开发基础之非主线程操作UI控件的误区
  • Flutter中Get.snackbar和Get.dialog关闭冲突问题记录
  • springcloudalibaba集成fegin报错ClassNotFoundException解决方案
  • 【HTML+CSS+JS+VUE】web前端教程-31-css3新特性
  • 力扣264. 丑数 II
  • 计算机网络之---TCP连接管理
  • 《CPython Internals》阅读笔记:p118-p150
  • C/C++ 数据结构与算法【排序】 常见7大排序详细解析【日常学习,考研必备】带图+详细代码
  • 三只松鼠携手爱零食,社区零售新高峰拔地而起
  • Java聊天小程序
  • Kibana操作ES基础
  • MYSQL8创建新用户报错:You have an error in your SQL syntax;check...
  • 动漫周边商城系统|Java|SSM|VUE| 前后端分离
  • Vue 3 Diff 算法受 `v-for` 循环中的 `key` 属性影响
  • 江科大STM32入门——看门狗笔记整理
  • 【计算机网络】lab7 TCP协议
  • 计算机视觉:解锁未来智能世界的钥匙
  • Java的Stream流和Option类