当前位置: 首页 > news >正文

【Flink】FlinkSQL实现数据从Kafka到MySQL

简介

       未来Flink通用化,代码可能就会转换为sql进行执行,大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台,去提交FlinkSQL实现任务,学习Flinksql势在必行。

       本博客在sql-client中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Kafka传输到MySQL具体操作,这个在生产开发中比较常用,通常生产用kafka作为数据的输入,本例子Flink版本1.13.6,具体操作如下:

创建mysql测试目标表

下面是创建mysql测试目标表的例子

CREATE TABLE `kafka_target` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增ID',
`name` varchar(64) DEFAULT NULL COMMENT '姓名',
`create_time` datetime  COMMENT '创建时间',
PRIMARY KEY (`id`)

ENGINE = InnoDB;

创建kafka的topic

 /opt/kafka/bin/kafka-topics.sh --create --bootstrap-server 192.168.0.1:9092 --replication-factor 1 --partitions 1 --topic mysqlsource

 可执行FlinkSQL(sql-client中执行)

注意在执行Fli

http://www.lryc.cn/news/297303.html

相关文章:

  • Unity GC
  • Vue源码系列讲解——变化侦测篇【下】(Array的变化侦测)
  • 【机器学习笔记】贝叶斯学习
  • ElasticSearch之倒排索引
  • win11安装mysql8.3.0压缩包版 240206
  • 数据库索引与优化:深入了解索引的种类、使用与优化
  • React 错误边界组件 react-error-boundary 源码解析
  • 分享66个相册特效,总有一款适合您
  • chagpt的原理详解
  • dockerfile 详细讲解
  • 跟着pink老师前端入门教程-day23
  • JRT监听程序
  • MCU+SFU视频会议一体化,视频监控,指挥调度(AR远程协助)媒体中心解决方案。
  • 1184. 欧拉回路(欧拉回路,模板题)
  • 学习 Redis 基础数据结构,不讲虚的。
  • Android 11 webview webrtc无法使用问题
  • 嵌入式单片机中晶振的工作原理
  • AWS配置内网EC2服务器上网【图形化配置】
  • Android中的MVVM
  • 制作耳机壳的UV树脂和塑料材质相比劣势有哪些?
  • CSP-202012-1-期末预测之安全指数
  • Doris中的本地routineload环境,用于开发回归测试用例
  • 【开源项目阅读】Java爬虫抓取豆瓣图书信息
  • 基于opencv-python模板匹配的银行卡号识别(附源码)
  • JAVA设计模式之建造者模式详解
  • ElasticSearch查询语句用法
  • 美国服务器如何
  • 远程主机可能不符合glibc和libstdc++ VS Code服务器的先决条件
  • 【python基础】sys.argv[]的使用方法
  • Element-Ui el-date-picker日期传值异常问题解决办法