当前位置: 首页 > news >正文

【实战-05】 flinksql look up join

摘要

look up join 能做什么? 不饶关子直接说答案, look up join 就是 广播。 重要是事情说三遍,广播。flinksql中的look up join 就类似于flinks flink Datastream api中的广播的概念,但是又不完全相同,对于初次访问的数据会加入缓存, 一定时间未访问到的则会从缓存中去除。而广播则是直接广播到每个exxcotor.
比如我们有一张订单表orders, 那么假设我们在进行flink计算的时候想获取该订单的相关的用户数据。 此时可以将用户数据用look up join 加载进来。
look up join 又称维表 在DataStream 中又称伟广播, 理解了这些就比较简单了。

缺点

不适合大量数据的 look up join, 因为会占用过多内存。 在业内很多人喜欢用hbase做缓存插件。也可以用 mysql 等其他外部存储系统,在任务启动的时候 外部的维表会被加载到任务内存中

语法

左表 要设置proress Time , 右表为 缓存表

create TEMPORARY table orders(`order_id` VARCHAR,                                                `order_info` VARCHAR,`user_id` VARCHAR,process_time AS PROCTIME()  # 这句语法是严格要求的
)with('connector' = 'kafka',                                       'topic' = 'topic-01;topic-02',                                   'properties.bootstrap.servers' = 'xxx:9092,yyy:9092','properties.group.id' = 'test','scan.startup.mode' = 'timestamp','scan.startup.timestamp-millis' = '1680883200000','format' = 'raw');
create TEMPORARY table users(     `user_id` VARCHAR,                                          `user_name` VARCHAR
)with(# 其他外部系统,省略);SELECT o.order_id, o.order_info,u.user_id,u.user_name
FROM orders AS o
left JOIN users FOR SYSTEM_TIME AS OF o.proc_time AS u # 这句语法是严格要求的
ON o.user_id= u.user_id
where ...# 省略where语句
;
# 注意: 一般都是用left  join 
http://www.lryc.cn/news/164226.html

相关文章:

  • C++数据结构--红黑树
  • Linux perf使用思考
  • 自定义路由断言工厂
  • Nacos安装及在项目中的使用
  • overleaf中latex语法总结
  • Grafana配置邮件告警
  • setup中的nextTick函数
  • Matlab信号处理3:fft(快速傅里叶变换)标准使用方式
  • Python|合并两个字典的几种方法
  • ElementUI浅尝辄止24:Message 消息提示
  • 让照片动起来的软件,轻松制作照片动效
  • 【图解RabbitMQ-7】图解RabbitMQ五种队列模型(简单模型、工作模型、发布订阅模型、路由模型、主题模型)及代码实现
  • Linux命令200例:write用于向特定用户或特定终端发送信息
  • javaee spring整合mybatis spring帮我们创建dao层
  • 修改Tomcat的默认端口号
  • Open3D Ransac拟合空间直线(python详细过程版)
  • 题目:2729.判断一个数是否迷人
  • 微服务模式:服务发现模式
  • 9.4 数据库 TCP
  • 普通用户使用spark的client无法更新Ranger策略
  • Git超详细教程
  • C++ 回调函数
  • xilinx FPGA IOB约束使用以及注意事项
  • 如何统计iOS产品不同渠道的下载量?
  • 大模型学习
  • Redis原理:IntSet
  • 【已解决】Splunk 8.2.X 升级ES 后红色报警
  • 香橙派使用外设驱动库wiringOP 配合定时器来驱动舵机
  • C++学习笔记--函数重载(2)
  • 代码随想录算法训练营Day56 || ● 583. 两个字符串的删除操作 ● 72. 编辑距离