当前位置: 首页 > news >正文

流批一体计算引擎-12-[Flink]旁路输出getSideOutput(OutputTag)实现拆分流和复制流

官网旁路输出
Flink拆分流和复制流

我们在处理数据的时候,有时候想对不同情况的数据进行不同的处理,那么就需要把流进行拆分或者复制。
如果是使用filter来进行拆分,也能满足我们的需求,但每次筛选都要保留整个流,然后遍历整个流,显然很浪费性能,假如能够在一个流了多次输出就好了,flink的旁路输出则提供了这样的功能。

1 使用filter分流

其实根据条件筛选数据的需求,本身非常容易实现:只要针对同一条流多次独立调用.filter()方法进行筛选,就可以得到拆分之后的流。
情景一
{“name”: “A1”, “dtime”: “2024-06-21 15:11:17.961”}
{“name”: “A2”, “dtime”: “2024-06-21 15:11:22.961”}
{“name”: “A3”, “dtime”: “2024-06-21 15:11:22.961”}

{“rule1”:[“A1”,“A2”],“rule2”:[“A2”,“A3”],“rule3”:[“A3”]}

1.1 不指定时间戳分配器【自身时间戳】

将使用kafka记录自身的时间戳。

http://www.lryc.cn/news/394795.html

相关文章:

  • 【Scrapy】 Scrapy 爬虫框架
  • 【笔记】太久不用redis忘记怎么后台登陆了
  • 昇思25天打卡营-mindspore-ML- Day14-VisionTransformer图像分类
  • 微信环境内H5网页,用开放标签wx-open-launch-app打开app
  • 【c++基础】高精度数不进位加法
  • UniApp 中 Web/H5 正确使用反向代理解决跨域问题
  • Redis Stream:实时数据流的处理与存储
  • 【论文阅读】-- Visual Traffic Jam Analysis Based on Trajectory Data
  • 修改编译依赖openssl的libcrypto.so
  • ����: �Ҳ������޷��������� javafx.fxml ԭ��: java.lang.ClassNotFoundException解决方法
  • 【C++】———— 继承
  • Python人生重开器
  • python 高级技巧 0708
  • HOW - React Router v6.x Feature 实践(react-router-dom)
  • `padding`、`border`、`width`、`height` 和 `display` 这些 CSS 属性的作用
  • C++ QT 全局信号的实现
  • 十款绚丽的前端 CSS 菜单导航动画
  • debain系统使用日志
  • 【Word】快速对齐目录
  • MATLAB基础应用精讲-【数模应用】 岭回归(Ridge)(附MATLAB、python和R语言代码实现)
  • 推荐6个开源博客项目源码,你会选哪个呢
  • OCR text detect
  • 【MySQL】MySQL连接池原理与简易网站数据流动是如何进行
  • 学数据结构学的很慢,毫无头绪怎么办 ?
  • VSCode常用快捷键和功能
  • 上海市计算机学会竞赛平台2023年2月月赛丙组平分数字(一)
  • Qwen1.5-1.8b部署
  • 关于7月1号centos官方停止维护7系列版本导致centos7+版本的机器yum等命令无法使用的解决教程
  • 2024人工智能大会_强化学习论坛相关记录
  • Android SurfaceFlinger——创建EGLContext(二十五)