当前位置: 首页 > news >正文

Flink 的 Kafka Table API Connector

Flink datastream connectors 和 Flink table api connectors 的区别:

Flink DataStream Connectors和Table API Connectors是Flink中用于连接外部数据源的两种不同的连接器。

1. Flink DataStream Connectors:

   - Flink DataStream Connectors是用于将外部数据源连接到Flink DataStream API的连接器。
   - 它们提供了与各种数据源(如Kafka、RabbitMQ、HDFS等)的集成能力。
   - DataStream Connectors提供了低级别的数据源和数据接收器的接口,允许用户以更细粒度的方式控制数据的读取和写入。

2. Table API Connectors:

   - Flink Table API Connectors是用于将外部数据源连接到Flink Table API和SQL的连接器。
   - 它们提供了与各种数据源(如Kafka、JDBC、Elasticsearch等)的集成能力。
   - Table API Connectors提供了高级别的接口,使用户可以使用类似于SQL的语法来查询和处理数据。
   - 它们支持将外部数据源映射为Flink表,并提供了对表的查询和转换的操作。

总的来说,DataStream Connectors提供了更低级别的接口,允许用户更细粒度地控制数据的读取和写入,而Table API Connectors提供了更高级别的接口,使用户可以使用类似于SQL的语法来查询和处理数据。DataStream connectors 在一个相对较低级别的命令式编程 API 中提供了流处理的原语(即时间、状态和数据流管理), Table API connectors 抽象了许多内部结构,并提供了结构化和声明性的 API。两种 API 都可以处理有界和无界流。


Flink 在 Java 中提供了一个专门的 StreamTableEnvironment 用于与 DataStream API 集成。 这些环境使用其他方法扩展常规 TableEnvironment,并将 DataStream API 中使用的 StreamExecutionEnvironment 作为参数。

Flink DataStream API与Data Table API集成:https://lrting.top/backend/3912/

Kafka 的 Table API Connector:https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/connectors/table/kafka/

使用 Kafka 的 Table API Connector:https://blog.csdn.net/wtmdcnm/article/details/117821106

对于用户认可的生产实践使用Flink的业务场景来说,主要是以下四种:

  • 实时 ETL。
  • 实时数据报表。
  • 实时业务监控。
  • 然后还有一个就是 CEP 在线业务。

https://flink-learning.org.cn/article/detail/817b69f597fa691edc57269a8b3b78cd?name=article&tab=suoyou&page=-1

 

http://www.lryc.cn/news/169483.html

相关文章:

  • tcpdump 命令
  • 哪些测试项目可以使用自动化测试?
  • 【八大经典排序算法】冒泡排序
  • 【IEEE会议】第五届机器人、智能控制与人工智能国际学术会议(RICAI 2023)
  • 如何在本地 Linux 主机上实现 Yearning SQL 审核平台的远程访问?
  • android.support.multidex.MultiDexApplication:DexPathList
  • 云HIS医院信息化系统:集团化管理,多租户机制,满足医院业务需求
  • Docker拉取nginx镜像,部署若依Vue前端
  • 简单介绍神经网络中不同优化器的数学原理及使用特性【含规律总结】
  • JL653—一个基于ARINC653的应用程序仿真调试工具
  • MQTT Paho Android 支持SSL/TLS(亲测有效)
  • STM32——SPI通信
  • Linux虚拟机局域网IP配置
  • MacOS删除.DS_Store文件
  • ARM Linux DIY(十一)板子名称、开机 logo、LCD 控制台、console 免登录、命令提示符、文件系统大小
  • 【Unity程序技巧】Unity中的单例模式的运用
  • java leetcodetop100 (3,4 )最长连续数列,移动零
  • 用Vite从零到一创建React+ts项目
  • HTTP状态码301(永久重定向)不同Web服务器的配置方法
  • vue-element-admin项目部署 nginx动态代理 含Docker部署、 Jenkins构建
  • 使用Python来写模拟Xshell实现远程命令执行与交互
  • mybatis 数据库字段为空or为空串 忽略条件过滤, 不为空且不为空串时才需nameParam过滤条件
  • 【玩玩Vue】通过vue-store实现枚举管理,用于下拉选项和中英文翻译等
  • ISCSI:后端卷以LVM 的方式配置 ISCSI 目标启动器
  • 八公山豆腐发展现状与销售对策研究
  • 排序算法-插入排序
  • 多位数按键操作(闪烁)数码管显示
  • MyEclipse项目导入与导出
  • ArrayList和LinkedList
  • Linux 配置 Nginx 服务完整详细版