当前位置: 首页 > news >正文

209.Flink(四):状态,按键分区,算子状态,状态后端。容错机制,检查点,保存点。状态一致性。flink与kafka整合

一、状态

1.概述

算子任务可以分为有状态、无状态两种。

  • 无状态:filter,map这种,每次都是独立事件
  • 有状态:sum这种,每次处理数据需要额外一个状态值来辅助。这个额外的值就叫“状态”

2.状态的分类

(1)托管状态(Managed State)和原始状态(Raw State)

托管状态就是由Flink统一管理的,状态的存储访问、故障恢复和重组等一系列问题都由Flink实现,我们只要调接口就可以。

原始状态则是自定义的,相当于就是开辟了一块内存,需要我们自己管理,实现状态的序列化和故障恢复。

(2)算子状态(Operator State)和按键分区状态(Keyed State)

按键分区状态其实就是被keyBy的算子。

使用Keyed State必须基于KeyedStream。没有进行keyBy分区的DataStream,即使转换算子实现了对应的富函数类,也不能通过运行时上下文访问Keyed State。富函数可以获取运行时上下文。

所有算子都是在本地实例上维护的,并行子任务的状态不共享。

3.按键分区状态

(1)值状态(ValueState)

状态中只保存一个“值”(value)

http://www.lryc.cn/news/185639.html

相关文章:

  • rabbitmq查看节点信息命令失败
  • c语言动态内存分布
  • 1.3.2有理数减法(第一课时)作业设计
  • vue3 -- ts封装 Turf.js地图常用方法
  • Qt之实现圆形进度条
  • C# 图解教程 第5版 —— 第1章 C# 和 .NET 框架
  • electronjs入门-聊天应用程序,与Electron.js通信
  • 【自用】ubuntu 18.04 LTS安装opencv 3.4.16 + opencv_contrib 3.4.16
  • 递归解析Json,实现生成可视化Tree+快速获取JsonPath | 京东云技术团队
  • GraceUI相关的 知识
  • 三十二、【进阶】hash索引结构
  • 如果有一天AI能自主编程了,程序员还有前途吗?
  • 网络安全:个人信息保护,企业信息安全,国家网络安全的重要性
  • 自动驾驶学习笔记(二)——Apollo入门
  • Flask 进行 Web 开发时,常见的错误
  • 【项目】5.1阻塞和非阻塞、同步和异步 5.2Unix、Linux上的五种IO模型
  • Unity可视化Shader工具ASE介绍——3、ASE的Shader类型介绍
  • 国内手机安装 Google Play 服务 (GMS/Google Mobile Services)
  • 数据结构与算法-(7)---栈的应用-(4)后缀表达式求值
  • [VIM]spcaevim
  • Android中的RxJava入门及常用操作符
  • 【数字化转型】10大数字化转型能力成熟度模型03
  • 【算法与数据结构】--前言
  • R²决定系数
  • 软件工程与计算总结(一)软件工程基础
  • SpringBoot-黑马程序员-学习笔记(一)
  • Apache Tomcat安装、运行
  • 聊聊分布式架构05——[NIO基础]BIO到NIO的演进
  • 聊天、会议、多媒体一体化:多平台支持的即时通讯系统 | 开源日报 No.44
  • 收录一些常见的算法题型