当前位置: 首页 > news >正文

(三)Flink Source 数据源

Flink 数据源主要分为内置数据源和第三方数据源。其中内置数据源包含文件、Socket 连接、集合类型数据等,不需要引入其它依赖库。第三方数据源定义了 Flink 和外部系统数据交互的逻辑,Flink 提供了非常丰富的数据源连接器,例如 Kafka、Elasticsearch、RabbitMQ、JDBC 等。 

目录

(一)文件数据源

(二)Socket 数据源

(三)集合数据源

(四)外部数据源

(五)自定义数据源


(一)文件数据源

文件连接器提供了 BATCH 模式和 STREAMING 模式统一的 Source 和 Sink。Flink FileSystem Abstraction 支持连接器对文件系统进行(分区)读写。文件系统连接器为 BATCH 和 STREAMING 模式提供了相同的保证,而且对 STREAMING 模式执行提供了精确一次(Exactly-once)语义保证。

文件连接器支持对任意(分布式的)文件系统(例如,POSIX、S3、HDFS)以某种数据格式 (例如,Avro、CSV、Parquet) 对文件进行写入,或者读取后生成数据流或一组记录。

使用方法:
可以通过创建 FileSource.FileSourceBuilder 设置 File Source 的所有参数:

// 从文件流中读取文件内容
FileSource.forRecordStreamFormat(StreamFormat,Path...);   // 从文件中一次读取一批记录   
FileSource.forBulkFileFormat(BulkFormat,Path...);
http://www.lryc.cn/news/428838.html

相关文章:

  • 第四届机电一体化、自动化与智能控制国际学术会议(MAIC 2024)
  • leetcode 089 打家劫舍
  • 等保测评基础知识(六)
  • 作业帮 TiDB 7.5.x 使用经验
  • c语言练习题1
  • 嵌入式开发就业方向有哪些?前景未来可期!
  • 系列:水果甜度个人手持设备检测-github等开源库和方案
  • Visual Studio中 生成版本号
  • AI入门指南(四):分类问题、回归问题、监督、半监督、无监督学习是什么?
  • Linux下本地端口转发
  • RPC 和 HTTP 理解
  • Visual Studio 2022 v17.11 发布
  • 通讯专题-RS232
  • 桥接模式详解
  • 使用一致性哈希解决哈希分片负载均衡的扩展性问题
  • 探索 Resolume Arena 7 - 引领 VJ 音视频创作的卓越软件
  • 三勾点餐系统|支持多端发布,方便二次开发
  • 深入理解AES加密算法:原理与Python实现
  • Redis中List数据类型常用命令
  • 借助Aapose.Cells 使用 C# 在 Excel 中读取、添加和编辑线程注释
  • 关于c++ grpc 和 c# grpc 通信的问题 以及 grpc 认证问题
  • C++进阶(14)类型转换、IO流
  • 配置oss cdn加速静态资源访问 阿里云
  • 实现 前端框架 SPA 路由功能:Hash 模式与 History 模式的手动实现
  • 去中心化的新时代:Web3技术的全球影响
  • 初始redis:List
  • Java | Leetcode Java题解之第355题设计推特
  • MVC与三层架构分层
  • Go语言基础--switch
  • 【数字ic自整资料】AXI握手协议及outstanding