当前位置: 首页 > news >正文

Flink SQL填坑记3:两个kafka数据关联查询

在一个项目中,实时生成的统计数据需要关联另外一张表(并非维表),需要统计的数据表是Kafka数据,而需要关联的表,由于不是维度,不能按照主键查询,所以如果放在MySQL上,将存在严重的性能问题,这个时候我想到用将两张表的数据都生成为Kafka数据,然后进行Join操作。中途发现这种性能特别差,而且表变更会产生多条kakfa记录,导致计算越来越来,最后改成upsert-kafka,下面记录下处理过程。

刚开始用kafka,建表语句如下:

Create Table `kafka_t_test1` (`f_id` bigint,`f_name` string,PRIMARY KEY (`f_corp_id`,`f_id`) NOT ENFORCED) WITH ('connector' = 'kafka','topic' = 't_test','properties.bootstrap.servers' = '10.10.10.1','properties.group.id' = 'test','value.format' = 'json','value.fields-include' 
http://www.lryc.cn/news/328095.html

相关文章:

  • 移动平台实时动态多点光源方案:Cluster Light
  • 2024年03月CCF-GESP编程能力等级认证C++编程八级真题解析
  • (十一)图像的罗伯特梯度锐化
  • 实验九 枚举问题(运算模拟)
  • 2024 年 AI 辅助研发趋势:从研发数字化到 AI + 开发工具 2.0,不止于 Copilot
  • UE5数字孪生系列笔记(三)
  • ASR-LLM-TTS 大模型对话实现案例;语音识别、大模型对话、声音生成
  • 主干网络篇 | YOLOv8更换主干网络之EfficientNet
  • Web开发-Django学习笔记
  • 关于深度学习的 PyTorch 项目如何上手分析?从什么地方切入?
  • JavaEE企业开发新技术4
  • CSS使用JS变量
  • 拆分巨石:将MVPS和MVAS应用于遗留应用程序——可持续架构(六)
  • Linux renice命令教程:如何优雅地调整进程优先级(附案例详解和注意事项)
  • Gitea 的详细介绍
  • Kotlin object
  • 【Redis】数据类型、事务执行、内存淘汰策略
  • Python Flask Web框架初步入门
  • 【设计模式】工厂方法模式详解
  • 独立游戏《星尘异变》UE5 C++程序开发日志3——UEC++特供的数据类型
  • 递归方法的理解
  • css之flex布局文本不换行不显示省略号的解决方法
  • 华清远见STM32U5开发板助力2024嵌入式大赛ST赛道智能可穿戴设备及IOT选题项目开发
  • 若依框架实现不同端用户登录(后台管理用户和前台会员登录——sping security多用户)
  • 【解決|三方工具】Obi Rope 编辑器运行即崩溃问题
  • 岭师大数据技术原理与应用-序章-软工版
  • Leetcode 680. 验证回文串 II
  • 网络安全接入认证-802.1X接入说明
  • iPhone的iOS系统:定义移动智能体验,引领科技潮流之巅
  • 计算机网络:传输控制协议(Transmission Control Protocol-TCP协议