当前位置: 首页 > news >正文

Flink把kafa数据写入Doris的N种方法及对比。

用Flink+Doris来开发实时数仓,首要解决是如何接入kafka实时流,下面是参考Doris官方文档和代码,在自己项目开发的实践中总结,包括一些容易踩坑的细节。

目录

Routine Load方法

 接入kafka实时数据

踩坑的问题细节 

Flink Doris Connector方法

完整示例


Routine Load方法

如果Doris是2.1以上,不需要复杂的数据转换的,建议使用Doris自带的Routine Load,实测使用方便,性能高。

 接入kafka实时数据

Doris 可以通过 Routine Load 导入方式持续消费 Kafka Topic 中的数据。在提交 Routine Load 作业后,Doris 会持续运行该导入作业,实时生成导入任务不断消费 Kakfa 集群中指定 Topic 中的消息。

Routine Load 是一个流式导入作业,支持 Exactly-Once 语义,保证数据不丢不重。下面示例如何通过拉入kafka数据(json格式):<

http://www.lryc.cn/news/526701.html

相关文章:

  • Vue - 标签中 ref 属性的使用
  • leetcode-不同路径问题
  • MongoDB 数据库备份和恢复全攻略
  • CentOS7使用源码安装PHP8教程整理
  • Baklib助力内容中台实施的最佳实践与成功案例探索
  • rocketmq-product-send方法源码分析
  • python flask中使用or查询和and查询,还有同时使用or、and的情况
  • 【第一天】零基础入门刷题Python-算法篇-数据结构与算法的介绍(持续更新)
  • 租房管理系统实现智能化租赁提升用户体验与运营效率
  • python3+TensorFlow 2.x(四)反向传播
  • Flutter 使用 flutter_inappwebview 加载 App 本地 HTML 文件
  • Word常见问题:嵌入图片无法显示完整
  • 为AI聊天工具添加一个知识系统 之68 详细设计 之9 三种中台和时间度量 之1
  • On to OpenGL and 3D computer graphics
  • 从曾国藩的经历看如何打破成长中的瓶颈
  • JavaWeb学习-SpringBotWeb开发入门(HTTP协议)
  • 数据库用户管理
  • BGP边界网关协议(Border Gateway Protocol)路由聚合详解
  • ASP.NET Core WebAPI的异步及返回值
  • 「 机器人 」仿生扑翼飞行器中的“被动旋转机制”概述
  • 「 机器人 」扑翼飞行器的数据驱动建模核心方法
  • 个人网站搭建
  • 飞书项目流程入门指导手册
  • xss靶场
  • XML实体注入漏洞攻与防
  • switch组件的功能与用法
  • cursor重构谷粒商城05——docker容器化技术快速入门【番外篇】
  • 高等数学学习笔记 ☞ 微分方程
  • 【探索 Kali Linux】渗透测试与网络安全的终极操作系统
  • 四方连续贴图是什么意思