当前位置: 首页 > news >正文

1、Flink基础概念

1、基础知识

(1)、数据流上的有状态计算

(2)、框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。

(3)、事件驱动型应用,有数据流就进行处理,无数据流就不进行处理,就像挤牙膏一样。

(4)、无界数据流&&有界数据流:

        其中,无界数据流就相当于水龙头,流的开始就是打开水龙头,但原则上,只要不关闭水龙头,水就会一直流下去,所以没有定义流的结束。

        有界数据流,相当于给一个水桶中装满水,水桶底部存在一个小孔,流的开始就是水桶滴下第一滴水,流的结束就是滴下最后一滴水。

2、有状态流处理

        举例:在一条马路上,每过一辆车,就会记录一次,在经过一段时间后,对记录的结果进行统计处理。

3、Flink特点

4、Spark和Flink的区别

两者最为本质的区别就是,Spark是批处理模式,Flink是流处理模式,

Spark Streaming:

(1)比如设计批次为3s,那么Spark将会积攒3s内的数据,最后统一对其进行处理。

(2)计算模型:微批次处理

(3)时间语义:处理时间

(4)窗口:少,不灵活

(5)状态:没有,需要跟外部系统进行交互。

(6)流式SQL:没有

Flink:

(1)与Spark不同的是,Flink是流处理模式,来一条数据,就处理一条数据。

(2)计算模型:流计算

(3)时间语义:事件时间、处理时间

处理时间:在处理数据时的现实时间

事件事件:数据本身产生的时间

举例:

例如,在23:59:59产生了一条数据,但因为网络延迟问题,导致计算引擎读取出现延迟,读取时间为0:00:01,综上所述,事件时间就是23:59:59,处理时间就是0:00:01

(4)窗口:多、灵活

(5)状态:有,可以自己维护管理数据。

(6)流式SQL:有

5、Flink分层API

http://www.lryc.cn/news/215040.html

相关文章:

  • 分享一下怎么做小程序营销活动
  • Laravel 后台管理 Dcat Admin 使用记录
  • c语言基础:L1-070 吃火锅
  • java spring boot 注解、接口和问题解决方法(持续更新)
  • HMAC_SHA1加密算法和SHA1加密算法的区别
  • Ubuntu连不上WiFi 或者虽然能连上校园网,但是浏览器打不开登录页面
  • Maven第八章:如何解决Maven的jar版本冲突
  • c# 读写内存映射文件
  • 行业揭秘:腾讯共享wifi码推广零加盟费是真的吗?
  • E4980A 精密型 LCR 表,20 Hz 至 2 MHz
  • 【前端工作提效】关于工作提效的一点实践与思考
  • Pytorch 文本情感分类案例
  • Flutter之GetX controller tag使用详解
  • Kubernetes群集调度
  • 【总结】linux centos 7 开启网络白名单访问策略
  • 2023-2024-1高级语言程序设计第1次月考
  • 目标检测:Proposal-Contrastive Pretraining for Object Detection from Fewer Data
  • Cesium:CGCS2000坐标系的xyz坐标转换成WGS84坐标系的经纬高度,再转换到笛卡尔坐标系的xyz坐标
  • 【OpenCV实现图像:用Python生成图像特效,报错ValueError: too many values to unpack (expected 3)】
  • 875. 爱吃香蕉的珂珂
  • 台灯太亮会导致近视吗?精选高品质的台灯
  • Scala函数和闭包
  • LeetCode----1935. 可以输入的最大单词数
  • 学习笔记三十:K8S配置管理中心Secret实现加密数据配置管理
  • 关于uviewui修改主题及在uniapp中的应用
  • 使用QEMU模拟启动uboot
  • 学习数据结构和算法之前,你需要知道什么?
  • 16. 机器学习 - 决策树
  • 将多余的内存,当作虚拟内存。修改edge缓存路径到虚拟内存中
  • 【从0到1设计一个网关】过滤器链的实现---实现负载均衡过滤器