当前位置: 首页 > news >正文

kafka的基本模型

kafka官网

线程和线程之间的数据交互

在jvm里不同的线程有自己的栈内存,但彼此之间交互可以在共享的内存中进行,即堆内存,堆内存会将这些消息放到队列中,具体实现jvm见,栈内存各自维护,堆内存大家共享

进程和进程之间的数据交互

不同的进程在服务器上启动的时候,中间通过socket和websocket进行交互。

可能会产生的问题:

①产生和消费的速度不对等,内存/磁盘作为稀有资源会不够用,从而产生消息积压的问题,可能通过文件存储的方式解决

②要对消息进行处理,可能一条消息发给多个进程,也可能一条消息切割为多部分被多个进程消费此时就需要一个中间件,进行消息的缓冲处理,称为消息中间件。

③使用消息中间件也可避免生产者和消费者的直连,降低系统的耦合性,提高可用性和可拓展性 

MQ的简介

 Java中消息产生,发送到MQ软件中,发送消息的被称为Producer(消息提供者),接收消息的被称为Consumer(消息消费者),MQ软件中一般用队列处理消息,消息一般包含消息头、消息属性、消息主题内容。

P2P模型

 (Publish-Subscribe)相当于是一对一,一条消息一个人发送,只能被一个人接收。

PS模型 

即是消息的发布和订阅模型

kafka借鉴了JMS模型,但不完全遵循,所以虽然是消息中间件,但不同于RabbitMQ、ActiveMQ、RocketMQ命名中带Message Queue,kafka中的消息message一般称之为record,JMS Provider一般称之为Kafka Broker,保证消费顺序的索引称之为偏移量offset

 kafka的基本组件,app调用kafka的producer和consumer进行消息的传递和读取,其中kafka自身是通过broker代理进行这些消息的处理, broker中的消息想要进行有序处理,通过偏移量实现也就是offset。

http://www.lryc.cn/news/378620.html

相关文章:

  • npm语义化版本和版本运算符
  • 孩子到了叛逆期,家长应该怎么教育孩子?
  • 芋道源码 yudao-cloud 、Boot 文档,开发指南 看全部,破解[芋道快速开发平台 Boot + Cloud]
  • 工具函数-算法
  • C# yolov8 OpenVINO 同步、异步接口视频推理
  • 【STM32入门学习】定时器与PWM的LED控制
  • PyTorch实战:模型训练中的特征图可视化技巧
  • 有人@你!神工坊知识问答第二期中奖名单新鲜出炉
  • 数据结构篇:旋转操作在AVL树中的实现过程
  • 为什么Java默认使用UTF-16,Golang默认使用UTF-8呢?
  • JavaScript常见面试题(三)
  • 【Effective Modern C++】第1章 型别推导
  • 服装连锁实体店bC一体化运营方案
  • IDEA中SpringMVC的运行环境问题
  • Python初体验
  • 从零开始如何学习人工智能?
  • 【仿真建模-anylogic】动态生成ConveyorCustomStation
  • 如何使用idea连接Oracle数据库?
  • 谈谈kafaka的并行处理,顺带讲讲rabbitmq
  • P3056 [USACO12NOV] Clumsy Cows S
  • 智赢选品,OZON数据分析选品利器丨萌啦OZON数据
  • Canal自定义客户端
  • 20240621将需要自启动的部分放到RK3588平台的Buildroot系统的rcS文件中
  • 掌握数据魔方:Xinstall引领ASA全链路数据归因新纪元
  • IIS代理配置-反向代理
  • Flutter调用本地web
  • AI大模型部署Ubuntu服务器攻略
  • vlan、vxlan、vpc学习
  • 低代码开发:加速工业数智化转型发展
  • python“__main__“的解读