当前位置: 首页 > news >正文

Flink 的历史版本特性介绍(一)

如果你还不了解 Flink 是什么,可以查看我之前的介绍文章:Flink 介绍

如果你想跟着我一起学习 flink,欢迎查看订阅专栏:Flink 专栏

这篇文章列举了 Flink 每次发布的版本中的重要特性,从中可以看出 Flink 是如何一步一步发展到今天的。

Flink 的前身是 Stratosphere 项目,最初由柏林工业大学的研究团队开发。Stratosphere 项目旨在实现高性能的大数据处理和分析。

0.6.0

发布于 2014 年,这是在 Apache 内部的第一个版本,名称为 Flink。具有以下特点:

  • 定义:ApacheFlink 是用于集群的通用数据处理引擎。
  • 作业通过 Flink 的运行时引擎执行。
  • 数据存储在 Hadoop HDFS 中
  • 支持的资源管理器:standalone、Hadoop YARN
  • 支持的编程语言:Java、Scala

0.7.0

发布于 2014 年,引入下面的新特性:

  • FlinkStreaming:提供了一个 Java API,可以实时处理流数据源(例如Apache Kafka、Apache Flume等)。
  • 流式 Scala API:现在 Scala 和 Java 具有相同的语法和 Transformation,并在之后的版本中保持同步。

0.8.0

发布于 2015 年,引入下面的新特性:

  • 扩展文件系统:现在可以在 Flink 中使用 Hadoop 支持的所有文件系统
  • 支持窗口:引入了新的窗口 API,用于创建窗口、删除窗口元素等
  • hadoop 2.2.0+ 作为默认的依赖

0.9.0

发布于 2015 年,引入下面的新特性:

  • 引入 Table API:https://nightlies.apache.org/flink/flink-docs-release-0.9/libs/table.html
  • 引入 Gelly 进行图处理:https://flink.apache.org/2015/08/24/introducing-gelly-graph-processing-with-apache-flink/
  • 引入机器学习库:https://nightlies.apache.org/flink/flink-docs-release-0.9/libs/ml/
  • 引入 Akka 框架来作为 Flink 的 RPC 系统:http://akka.io/
  • 为流处理引入精确一次(exactly-once)语义保证。

0.10.0

发布于 2015 年,引入下面的新特性:

  • 支持 event-time、ingestion-time、processing-time 的流处理
  • 支持 stateful 流处理:提供接口用于定义、更新、查询操作符状态(operator state)
  • 支持高可用:引入 Zookeeper,支持为 standalone 集群和 YARN 设置高可用模式
  • 完善 DataStream API,引入流分区和窗口操作符,窗口设计受到 DataFlow 模型的启发,基于window assigners, triggers 和 evictors概念
  • 引入新的 Connector:
http://www.lryc.cn/news/305713.html

相关文章:

  • 【尚硅谷】MybatisPlus 学习笔记(下)
  • 408数据结构算法模板
  • Mysql--索引分类
  • AutoTimes:通过大语言模型的自回归时间序列预测器
  • 记录 | go与C/C++交互
  • B3623枚举排列
  • vuex怎么防止数据刷新丢失?
  • OpenGL ES 渲染 NV21、NV12、I420、YV12、YUYV、UYVY、I444(建议收藏)
  • 云计算的两地三中心和灾备介绍
  • Spring Bean
  • Linux的时间操作
  • 2024-02-21 作业
  • 平台组成-监控服务
  • 探索分布式强一致性奥秘:Paxos共识算法的精妙之旅
  • 使用 ES|QL 优化可观察性:简化 Kubernetes 和 OTel 的 SRE 操作和问题解决
  • Docker 第十九章 : 阿里云个人镜像仓使用
  • 二、系统知识笔记-系统架构概述
  • 【高德地图】Android高德地图绘制标记点Marker
  • 每天一个知识点 - 如何快速熟悉后端项目
  • 如何将cocos2d-x js打包部署到ios上 Mac M1系统
  • pdffactory pro 8中文破解版
  • 常用ADB命令整理已经ADB键盘输入
  • buuctf_N1BOOK_粗心的小李
  • 爬取链家二手房房价数据存入mongodb并进行分析
  • 论文阅读:Ground-Fusion: A Low-cost Ground SLAM System Robust to Corner Cases
  • 一键获取电商平台商品信息,快速提高电商业务效率
  • vue 中实现音视频播放进度条(满足常见开发需求)
  • 【广度优先搜索】【网格】【割点】1263. 推箱子
  • 论文精读--GPT1
  • C/C++的内存管理(1)