当前位置: 首页 > news >正文

Kafka 消息发送和消费流程

发送消息

流程如下:

  1. Producer 端直接将消息发送到 Broker 中的 Leader 分区中
  2. Broker 对应的 Leader 分区收到消息会先写入 Page Cache,定时刷盘进行持久化(顺序写入磁盘)
  3. Follower 分区拉取 Leader 分区的消息,并保持与 Leader 分区数据一致,待消息拉取完毕后需要给 Leader 分区回复 ACK 确认消息
  4. Leader 分区与 Follower 分区同步完数据,并收到所有 ISR 中的 Replica 副本的 ACK 后,Leader 分区会给 Producer 回复 ACK 确认消息

消费消息

流程如下:

  1. Consumer 需要通过订阅关系获取到集群元数据, 找到相关 Topic 对应的 Leader 分区的数据,然后通过 Pull 模式主动的去 Kafka 集群中拉取消息
  2. 拉取到消息后进行业务逻辑处理,待处理完成后,会进行 ACK 确认,即提交 Offset 消费位移进度记录。
  3. 最后 Offset 会被保存到 Kafka Broker 集群中的 consumer_offsets 这个 Topic 中,且每个 Consumer 保存自己的 Offset 进度

注意:在这个过程中,有个消费者组的概念,多个 Consumer 可以组成一个消费者组即 Consumer Group,每个消费者组都有一个 GroupId。同一个 Consumer Group 中的 Consumer 可以消费同一个 Topic 下不同分区的数据,但是不会出现多个 Consumer 去消费同一个分区的数据。

总结

综上所述,可以得出 Kafka 有三次消息传递的过程:

  1. Producer 端发送消息给 Broker 端
  2. Broker 将消息进行并持久化数据
  3. Consumer 端从 Broker 将消息拉取并进行消费
http://www.lryc.cn/news/130938.html

相关文章:

  • UVa10048 Audiophobia(floyd)
  • ​Redis概述
  • MsrayPlus多功能搜索引擎采集软件
  • 机器学习之概率论
  • 【深度学习 | 数据可视化】 视觉展示分类边界: Perceptron模型可视化iris数据集的决策边界
  • 【计算机视觉】相机基本知识(还在更新)
  • C++ (友元)(类嵌套时,成员函数以及类声明定义的顺序)小demo
  • 前端实习第五周周记
  • 【图论】Floyd算法
  • ceph数据分布
  • mysql的两张表left join 进行关联后,索引进行优化案例
  • 2018年3月全国计算机等级考试真题(语言二级C)
  • java.util.Timer简介以及简单使用示例
  • C语言笔试训练【第12天】
  • 外网连接局域网的几种方式?快解析内网穿透安全便利吗?
  • 基于互斥锁的生产者消费者模型
  • USB隔离器电路分析,SA8338矽塔sytatek电机驱动,源特科技VPS8701,开关电源,电源 大师
  • TPC-DS 测试是否支持 Glue Data Catalog?
  • 网络编程(8.14)TCP并发服务器模型
  • 认识负载均衡||WEBSHELL
  • Chapter 15: Object-Oriented Programming | Python for Everybody 讲义笔记_En
  • 模板编程-成员特化
  • 信安通用基础知识
  • 网上购物系统的设计与实现/在线商城/基于spring boot的电商平台/基于Java的商品销售系统
  • uniapp项目-配置store文件夹
  • element表格多选实现
  • 宠物智能自动喂食器方案设计
  • 学习笔记230818---对于promise失败状态处理的重要性
  • 【Redis】什么是缓存击穿,如何预防缓存击穿?
  • Android 13.0 强制app横屏显示