当前位置: 首页 > news >正文

Flink中上游DataStream到下游DataStream的内置分区策略及自定义分区策略

目录

全局分区器GlobalPartitioner

广播分区器BroadcastPartitioner

哈希分区器BinaryHashPartitioner

轮询分区器RebalancePartitioner

重缩放分区器RescalePartitioner

随机分区器ShufflePartitioner

转发分区器ForwardPartitioner

键组分区器KeyGroupStreamPartitioner

自定义分区器CustomPartitionerWrapper


        Flink提供了八种分区策略为上游DataStream中数据如何分发到下游DataStream中提供了分发策略。八种分发策略分别如下:

(1)全局分区器GlobalPartitioner

(2)广播分区器BroadcastPartitioner

(3)哈希分区器BinaryHashPartitioner

(4)重缩放分区器RescalePartitioner

(5)轮询分区器RebalancePartitioner

(6)随机分区器ShufflePartitioner

(7)转发分区器ForwardPartitioner

(8)键组分区器KeyGroupStreamPartitioner

(9)自定义分区器CustomPartitionerWrapper

        各个分区器的继承关系如下:

 各分区器的类定义如下:

// 流分区抽象类.
public abstract class StreamPartitioner<T> implements ChannelSelector<SerializationDelegate<StreamRecord<T>>>, Serializable// 全局分区类.
public class GlobalPartitioner<T> 
http://www.lryc.cn/news/417314.html

相关文章:

  • 谁来做引领企业精益变革的舵手最合适?
  • 数据结构(java实现)——优先级队列,堆
  • 一部分优化算法
  • 图论(强联通分量)
  • LLaMA- Adapter V2: Parameter-Efficient Visual Instruction Model
  • 【爬虫实战】利用代理爬取Temu电商数据
  • 【MATLAB源码-第244期】基于MATLAB的BP神经网络语音特征信号分类,输出原信号与预测信号对比图以及预测误差和正确率。
  • HarmonyOS 习题(二)
  • 如何搭建一个圈子社区系统?开源社交陪玩交友圈子论坛帖子系统保姆级搭建教程!
  • Delphi5实现身份证检验(DLL版)
  • linux下的C++程序
  • selfAttention 中的dk到底是什么
  • 安装MongoDB UI客户端工具:mongodb-compass-1.40.2-win32-x64.msi
  • 一行命令搞定内网穿透
  • C语言——扫雷游戏
  • 【LLM】-16-评估LLM-与标准答案的差距
  • WeNet 2.0:更高效的端到端语音识别工具包
  • 阿里大模型调用 = 》通义千问大语言模型
  • idea使用free流程,2024idea免费使用
  • 算法_链表专题---持续更新
  • 在Windows MFC\C++编程中,如何使用OnCopyData函数
  • 【Qt】项目代码
  • MySQL中常用工具
  • 关于儿童编程语言
  • [io]进程间通信 -信号函数 —信号处理过程
  • RoboDK的插件
  • List<HashMap<String, Object>>排序
  • 【大数据】探索大数据基础知识:定义、特征与生态系统
  • 营销材料翻译质量对销售渠道的影响
  • centos7.9安装k8s 1.3