当前位置: 首页 > news >正文

flink学习-flink sql

动态表

在flink的数据处理中,数据流是源源不断的,是无界的,所以对于flink处理的数据表是一张动态表,所以对于动态表的查询也是持续的,每接收一条新数据会进行一次新的查询。

持续查询

因为数据在一直源源不动的到来,所以使用的sql查询是持续查询的的方案,采用更新查询和追加查询。查询后采用的追加更新、撤回流更新、更新插入流。

时间属性

事件时间可以在创建动态表时进行定义,增加一个字段,通过watermark语句进行事件属性的定义。

分组窗口

目前在flink sql中仅支持时间窗口,不能支持数量的窗口
tumble 滚动窗口
hop 滑动窗口

数据查询

在flink中,orderby 必须是时间戳升序
topN语法中可以取消对于order by的限制
去重可以任务底层使用的top1
sql Hints 临时修改数据表配置
内置函数:https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/dev/table/functions/systemfunctions/
module操作:提供一些module方便进行flink功能的增强

连接器(connector)

数据连接器是将数据源与flink进行连接,当flink进行数据插入,则相当于向数据源中写入数据,如果flink进行获取,则相当于从数据源中获取或者消费数据。
对于kafka 作为kv存储,正常来说是不支持进行写入kafka的数据进行更新的,需要使用upsert-kafka 连接器进行支持,这个特性主要是利用了kafka按照key进行哈希

catalog

catalog 提供了元数据信息,例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。catalog允许用户引用其数据存储系统中现有的元数据。

table-api

表与流中相关转化,代码中调用了DatastreamAPI,则需要execute,否则不需要.

http://www.lryc.cn/news/383124.html

相关文章:

  • 高考填报志愿攻略,5个步骤选专业和院校
  • Kubernetes排错(十)-处理容器数据磁盘被写满
  • 使用QtGui显示QImage的几种方法
  • C++ lamda
  • Linux_应用篇(27) CMake 入门与进阶
  • 51单片机STC89C52RC——8.1 8*8 LED点阵模块(点亮一个LED)
  • 2024最新免费版轻量级Navicat Premium Lite 下载和安装教程
  • PHP+laravel 生成word
  • redis集群简单介绍及其搭建过程
  • linux桌面运维----第五天
  • 【SQL Server数据库】简单查询
  • Docker 从入门到精通(大全)
  • 基于JSP的在线教育资源管理系统
  • 在java中代理http请求,如何避免陷入循环?
  • 国内镜像源网址
  • 合适的智能猫砂盆到底怎么挑?开放式封闭式一次说清!
  • 阿里云开启ssl证书过程记录 NGINX
  • C语言程序设计 9.37 调用随机函数为5x4的矩阵置 100以内的整数,输出该矩阵,求出每行元素之和,并把和的最大的那一行与第一行的元素对调
  • Webpack: 借助 Babel+TS+ESLint 构建现代 JS 工程环境
  • 孩子不想上学,父母应如何教育?“强迫教育”会激起孩子反抗心理
  • Python深度学习技术
  • ECharts 雷达图案例002 - 诈骗性质分析
  • 想远程控制手机,用哪个软件好?
  • 数字内容“遍地开花”,AI技术如何创新“造梦”?
  • MySQL集群如何实现读写分离
  • 一分钟剪辑1000条视频的云微客矩阵,怎么做到的?
  • 简单案例比较Lambda和方法引用的差别
  • 10 个最佳 AI 代码生成器
  • Eureka服务发现机制解析:服务实例的唯一标识
  • 操作系统实训复习笔记(基于命名管道与信号的进程间通信)